השפעת מבחן מו"ר על הקבלה לביה"ס לרפואה ע"ש סאקלר של אוניברסיטת ת"א: מי התקבל ומי נדחה כתוצאה משינוי קריטריון הקבלה מאת מ. לשנו

Transcript

1 השפעת מבחן על הקבלה לביה"ס לרפואה ע"ש סאקלר של אוניברסיטת ת"א: מי התקבל ומי נדחה כתוצאה משינוי קריטריון הקבלה מאת מ. לשנו דו"ח מחקר מס' נובמבר 0213 מחקר מס' המחקר מומן חלקית ע"י המכון למחקר עסקים בישראל ע"ש הנרי קראון, הפקולטה לניהול, אוניברסיטת תל אביב. דוחו"ת מחקר של המכון מיועדים לתפוצה של מימצאי מחקר. הערות מתקבלות בברכה, ויש להפנותן ישירות למחברים. המסקנות והדעות המובעות בכל מחקר הן אלו של החוקרים העוסקים במחקר, ואילו הפקולטה, האוניברסיטה והמכון אינם אחראים למסקנות ודעות אלו.

2 השפעת מבחן על הקבלה לביה"ס לרפואה ע"ש סאקלר של אוניברסיטת ת"א: מי התקבל ומי נדחה כתוצאה משינוי קריטריון הקבלה The influence of the MOR test on the admission to the Sackler School of Medicine at Tel Aviv University: Who gained and who lost from the change

3 תוכן עניינים תקציר 4 מבוא 6 ביקוש והיצע 6 הליך הקבלה תיאור כללי 6 הליך הקבלה אוניברסיטת ת"א 7 מבנה מבחן 7 הגדרת הבעיה 8 חשיבות העבודה 9 שיטות 10 קבוצת המחקר 10 הניתוח הסטטיסטי 10 תוצאות 13 משתתפים 13 קשר בין ציוני קבלה וציונים אקדמיים 14 חישוב מקדמי קשר לפי מתאם פירסון דו-צדדי 14 א. חישוב מקדמי ניבוי ברגרסיה ליניארית 15 ב. שינויים בתוצאות הקבלה 16 מימדי תחלופת המועמדים 16 א. ציוני קבלה 16 ב. שינויים דמוגרפיים 17 ג. שיעורי מימוש 17 ד. שינויים אקדמיים 18 ממוצע ציונים אקדמי השוואה לפי סבבי קבלה 18 א. ממוצע ציונים אקדמי השוואה לפי צמצום מחזור מקורב 19 ב. הערכות מחלקה השוואה לפי צמצום מחזור מקורב 20 ג. יכולת דחיית אחוזונים נמוכים 21 ד. קבלה לפי ממוצע ציונים פרה-קליני 21 ה. השפעת משקל 22 גודל חילוף 22 א. שינוי בציוני קבלה 23 ב. מעבר מועמדים בין קבוצות 24 ג. מאפיינים דמוגרפיים 25 ד. ממוצע ציונים קליני 26 ה. ממוצע הערכות מחלקה 26 ו. דיון 28 מהות השינוי במיון מועמדים 28 הערכת יכולת הניבוי של נתוני הקבלה 28 הצלחה במבחן 28 א. הצלחה בלימודים קליניים 28 ב. כיצד השפיעה הוספת על פרופיל המתקבלים 29 חילופי מועמדים 29 א. השפעת על ציוני הקבלה 29 ב. השפעת על מאפיינים דמוגרפיים 29 ג. מגבלות ההשוואה 30 ד. כיצד השפיעה הוספת על הציונים אקדמיים 30 2

4 השוואת ציונים אקדמיים לפי סבבי קבלה 30 א. שינוי בציונים אקדמיים לפי צמצום מחזור מקורב 30 ב. שינוי בהערכות מחלקה לפי צמצום מחזור מקורב 30 ג. יכולת דחיית אחוזונים נמוכים 31 ד. קבלה לפי ממוצע ציונים פרה-קליני 31 ה. מגבלות שיטת צמצום מחזור מקורב 31 ו. כיצד שינוי משקל בחישוב המותאם הסופי משפיע על התוצאות 31 העלאת מגדילה את התחלופה 31 א. השפעת משקל על ציוני הקבלה 31 ב. השפעת משקל על שינויים דמוגרפיים 32 ג. השפעת משקל על ציונים אקדמיים והערכות מחלקה 32 ד. מגבלות הניתוח 33 ה. סיכום Summary רשימת ספרות 36 נספח 38 3

5 תקציר א. ב. ג. ד. מטרה בכל העולם קיים פער גדול בין מספר המועמדים ללימודי רפואה, למספר המקומות בבתי הספר לרפואה. בתי הספר מנצלים זאת כדי לקבל את המועמדים המתאימים ביותר. ב השתנה הליך הקבלה של בית-הספר לרפואה ע"ש סאקלר, בהוספת מבחן. מבחן זה מחולק למספר מרכיבים שמטרתם הערכת כישורים אישיים. בדקתי את השלכות שינוי זה על ידי בחינת 4 מרכיבים עיקריים: תועלת מבחינת יכולת ניבוי השלכות השינוי על ההרכב הדמוגרפי של המתקבלים השלכות השינוי על ממוצע הציונים האקדמי והערכות המחלקה של הלומדים כיצד משפיע שינוי המשקל של מרכיבי קריטריון הקבלה על ההשלכות הנ"ל. שיטות נאספו נתוני קבלה על 1,566 מועמדים שהשתתפו במבחני, כחלק מהליך הקבלה לביה"ס לרפואה של אוניברסיטת תל-אביב, בשנים כמו-כן התקבלו הערכות מחלקה, של השנים הקליניות, עבור 271 מועמדים שהתחילו את לימודיהם בשנים השוואת ציונים אקדמיים, בין מועמדים שהתקבלו בזכות השינוי ומועמדים שנדחו בעקבות השינוי כמובן אינה אפשרית שכן אין בידנו נתונים על המועמדים שכשלו. לכן, בכדי לקבל הערכה מקורבת, ההשוואה הייתה בין ההצלחה בלימודים של שתי הקבוצות (מתקבלים בזכות השינוי ונדחים בעקבותיו), אילו מספר מקומות הקבלה היה קטן יותר. תוצאות שימוש במנבאים אפשריים ובמדדי קשר לא נתן קורלציות בין נתוני הקבלה לבין הצלחה אקדמית או הערכות מחלקה. המנבא היחיד להצלחה בשנים הקליניות ובפרט מבחינת הערכות מחלקה, הוא ממוצע ציונים של השנים הפרה-קליניות. לא קיימת קורלציה בין תוצאות לבין ציון ההתאמה ללא. מכאן נובע שהערכות מודדות תכונות שונות מאילו שנמדדות במבחנים הקוגניטיביים. הוספת הביאה לתחלופה של כ- 30% מתוך המתקבלים בשנים מבחינה דמוגרפית, התחלופה גרמה בעיקר לעלייה בגיל הממוצע ולהגדלת שיעור מתקבלים עושי שירות צבאי/לאומי. ניכרת מגמה (שאינה סיגניפיקנטית) שעל פיה מועמדים שהתקבלו בזכות מצליחים בבחינות פחות מאשר מעמדים שנדחו בעקבות. לכן ניתן לומר שהוספת פוגעת באופן שולי בהצלחה בלימודים אקדמיים. מועמדים שהתקבלו בזכות קיבלו ציונים טובים יותר בהערכות המחלקה, ובייחוד בהערכות הקשורות בכישורי תקשורת. יתרון זה נעשה בולט יותר כאשר משקל שונה בחישוב המותאם הסופי ל- 100%. 4

6 ממוצע הציונים של השנים הפרה-קליניות הינו המנבא הטוב ביותר להצלחה בשנים הקליניות הן מבחינת ממוצע ציונים והן על פי הערכות מחלקה. העלאת משקל בחישוב ציון הקבלה, מגדילה את השינויים הדמוגרפיים אך כמעט ואינה משפיעה על ממוצע הציונים האקדמי. העלאת משקל מתבטאת גם בשינוי של הערכות המחלקה. ככל שמשקל עולה מתקבלים יותר מועמדים טובים מבחינה זו ויותר מועמדים פחות טובים נדחים. מסקנות תהליך הקבלה מהווה פקטור משמעותי בקביעת רמתם הקוגניטיבית והאישית של רופאי העתיד. בחירת מועמדים המבוססת על הערכה קוגניטיבית הכוללת ידע וחכמה, מבטיחה שהמועמדים שנבחרים יהיו באופן כללי "חכמים". התחשבות בהערכת מבטיחה שהמועמדים יהיו גם "נחמדים". שינוי זה מצריך אמנם ויתור מבחינת הקריטריונים הקוגנטיביים (ככל שמשקל עולה, הרף הקוגנטיבי יורד). לפיכך יש לשקול מהו היחס הנכון שיביא לבחירה אופטימאלית של מועמדים. בנוסף, בשל היעדר קשר בין ציוני קבלה להצלחה אקדמית, יש גם מקום לשקול שימוש בממוצע ציונים אקדמי ככלי לדירוג מועמדים לביה"ס לרפואה. על פי תוצאות עבודתי, האופטימום במשקל שניתן למור הוא בסביבות 40%. 5

7 מבוא ביקוש והיצע מספר המועמדים ללימודי רפואה גדול בהרבה ממספר התלמידים ורמתם הקוגניטיבית גבוהה מאוד. בתנאים אלה ניתן לשאוף לקבלת תלמידים שיהיו רופאים טובים בעתיד, ולמנוע קבלה של מועמדים שיוציאו שם רע למקצוע. 1 הגדרה שונה של מטרת המיון שהתקבלה על-ידי מועצת ראשי בתי הספר לרפואה שבאנגליה, היא להכין את התלמידים לעמוד בצרכים הנוכחים והעתידיים של החברה. 2 בכל העולם מתחרים מועמדים רבים על כל מקום קבלה. עובדה זו מאפשרת, באופן תיאורטי, לברור את אלו המחזיקים במרב התכונות הנדרשות להשיג אחוזי הצלחה אופטימאליים. בעבר היה נהוג לברור את המועמדים לפי היכולות הקוגניטיביות שלהם, לבד מראיונות אישיים המכוונים למניעת קבלתם של מועמדים עם הפרעות התנהגותיות. בשנים האחרונות החלו להתייחס גם למאפיינים אישיותיים של המועמדים. 3,4 בשל כך חלה ירידה ביכולות הקוגניטיביות אבל גם עליה בתכונות האחרות. המטרה היא להגיע לשילוב האופטימאלי של השניים. הליך הקבלה תיאור כללי בחירת הסטודנטים לרפואה ברוב, אם לא בכל, בתי-הספר לרפואה נעשית בשני שלבים: השלב הראשון מבוסס על מבחנים המעידים על היכולות הקוגניטיביות של המועמד. אפשר לחלק את המבחנים הללו לשני סוגים. הסוג הראשון סוכם את הישגי המועמד עד כה ולרוב מבוטא כממוצע ציונים של לימודים קודמים (אקדמיים או תיכון). בארץ מדובר לרוב בממוצע ציוני הבגרות. הסוג השני כולל ציונים של בחינות מיוחדות, שנבנו על-ידי בית-הספר או איגוד של מספר בתי-ספר. מטרת מבחנים מסוג זה למדוד פוטנציאל להישגים בעתיד. כיום ישנם מספר מבחנים כמו ה- MCAT בארה"ב, ה- UMAT באוסטרליה, ה- UKCAT בבריטניה, והמבחן הפסיכומטרי בארץ. הרכב המבחנים ואופיים אמנם שונה, אך כולם בוחנים תכונות קוגנטיביות כמו הבנה מילולית וחשיבה לוגית. מחקרים רבים בחנו את הקשר בין המבחנים הללו (ובייחוד ה- MCAT ) להצלחה בלימודי רפואה. באופן כללי, מקובל לחשוב שבהיעדר אפשרות אחרת המבחנים יכולים לשמש מדד מנבא, אם כי חלקי, להישגים בלימודים. 5 השלב השני שונה באופן משמעותי בבתי-ספר שונים. בחלקם הקטן, בייחוד באירופה, נערכת הגרלה בין כל המועמדים שהוגדרו טובים מבחינה סכולסטית בשלב הראשון. במילים אחרות, ההצלחה בשלב הראשון תלויה בהיות המועמד "חכם" ובשלב השני בהיותו "בר-מזל". ברוב בתי-הספר לרפואה, בוחרים את המועמדים הטובים ביותר מבחינה קוגניטיבית, ובעלי הציונים הגבוהים ביותר מוזמנים לשלב מיון נוסף. מטרת שלב זה להעריך גורמים לא-קוגניטיביים כמו "רקע, משתנים דמוגרפיים ואיכותניים", 6 ובמספר הולך וגדל של בתי-ספר, מתחשבים בגורמים התנהגותיים ויכולות תקשורת, המוערכים לפי סוגים שונים של ראיונות. לראיונות אלו משקל ומטרה שונה בין בתי-הספר, מזיהוי פסיכופתולוגיות ועד כדי לשמש ככלי מיון יחיד מבין מועמדים שהוגדרו "מספיק חכמים" (על פי הישגיהם בשלב א'). בעשור האחרון, העריכו בתי-ספר רבים מחדש את הליך הקבלה שלהם, במטרה לשפר את הבחירה של תלמידי רפואה. 7 רובם כללו בתהליך המיון גם תכונות 'לא-קוגנטיביות'. השינוי נבע מהתפיסה שלרופא צריכות להיות תכונות אישיות נוספות מעבר ליכולת אקדמית ומקצועית. חשוב לציין את החיפוש אחרי מועמדים בעלי יכולות תקשורת, אמפתיה וחוש אתי שאינם נמדדים בעזרת המבחנים הסכולסטיים. תכונות אלו נבחנו בשנים האחרונות על פי שימוש בשיטת ריבוי מיני ראיונות ) mini MMI: multiple 6

8 (interview בסגנון (Objective Structured Clinical Examination) OSCE 8 שפותחה באוניברסיטת McMaster בקנדה 9 ה. MMI- משמש למדוד תכונות לא-קוגניטיביות של מועמדים בצורה יעילה יותר מהראיונות המסורתיים. 10 ההיגיון הוא שאוסף של ציונים סובייקטיביים יכול לתת מדד אובייקטיבי מאמר שהתפרסם לאחרונה הראה של- MMI יש אמינות גבוהה משמעותית בהשוואה לראיון בודד, אם כי בכדי להגיע לרמה רצויה של קבלת החלטות (0.8 coefficient (generalizability מספר התחנות הדרוש גבוה מהמקובל כיום (14 לעומת 7) 11. הליך הקבלה אוניברסיטת ת"א עד 2004, התבססה הקבלה לבית-הספר לרפואה באוניברסיטת ת"א על "ציון התאמה" שהוא הממוצע של שני מדדים קוגנטיביים: ממוצע הבגרויות המותאם והציון הפסיכומטרי. 12 המועמדים בעלי הציונים הגבוהים ביותר זומנו לראיון, שכל מטרתו הייתה לזהות מועמדים שהוועדה גילתה אצלם תכונות אישיות בעיתיות המהוות סיבה לדחייה. הספרות מעלה ספקות בנוגע ליכולת של שיטה זו למדוד את תכונות האישיות הדרושות 9 ומעבר לכך, ידוע שראיונות נוטים להטיות ובעלי אמינות ויכולת ניבוי נמוכות בהשוואה למבחנים קוגניטיביים לכן ב הראיונות המקוריים הוחלפו במבחן ההערכה (מיון והתאמה לביה"ס לרפואה), המתבצע במרכז מ.ס.ר. (מרכז ארצי לסימולציה רפואית). המבחן דומה ל- MMI שפותח ב- McMaster, 9,17 אך שם דגש על שימוש במגוון משימות התנהגותיות, כגון סימולציות אישיות וקבוצתיות. 18 הוא פותח ע"י נציגים מבית הספר לרפואה של אוניברסיטת ת"א, 19 מ.ס.ר. 20 והמרכז הארצי לבחינות והערכה 21,22 בשנים האחרונות. כל המועמדים שהציגו ציון התאמה קוגנטיבי (המחושב לפי שקלול של ממוצע הבגרויות והציון הפסיכומטרי) מעל סף נתון (אשר היה נתון לשינוי מדי שנה) זומנו למבחן. ציון ההתאמה הסופי נקבע לפי ממוצע של הציונים הסכולסטיים וציון. מבנה מבחן מבחן מבוסס על ההנחה שהערכה אובייקטיבית ניתן לבסס על ידי ריבוי הערכות סובייקטיביות. המבחן מורכב מ- 3 כלים עיקריים : 18 תחנות התנהגותיות 6 תחנות אישיות (אורך כל אחת 6-9 דקות) ו- 2 תחנות קבוצתיות. מטרת התחנות להעריך 4 תכונות: תקשורת בין-אישית, אחריות ולקיחת יוזמה, יכולת להתמודד עם לחץ ומודעות עצמית. שאלון ביקורת ויכולת קבלת החלטות כולל שלוש מטלות כתיבה שעבורן הוקצו 45 דקות (15 דקות כל אחת). המועמדים נדרשים לנתח דילמות אתיות מהחיים האמיתיים. הציון נקבע לפי יכולת המועמד להעריך את מורכבות הסיטואציה, להגיע לידי החלטה ולהצדיק אותה. מטרת השאלון לשקף את תפיסת המוסר המורכבת של המועמד. שאלון אישי מורכב מ- 20 שאלות פתוחות המתחלקות ל- 2 : החלק הראשון מתמקד בנסיון העבר של המועמד, כגון פעילויות במהלך התיכון ובמסגרות אחרות, ואילו החלק השני מתמקד במודעות הרגשית של המועמד וכולל שאלות על התמודדויות עבר במצבים מאתגרים מבחינה רגשית. לשאלון זה הוקצבו 95 דקות. הניקוד נעשה בהתבסס על כנות, אמינות, אחריות, עיקביות, הערכה-עצמית והתנהגות בין- אישית. 7

9 הציון הסופי של מבחן נקבע לפי ממוצע משוקלל של שלושת כלי ההערכה ביחס של 60/20/20 בהתאמה. למבחן מספר יתרונות ביחס לראיונות המסורתיים. כפי שנאמר לגבי הריאיון הבודד, מדובר בציון סובייקטיבי המושפע מהטיות. אולם אוסף ציונים סובייקטיביים רבים ובלתי תלויים, מקטין את השפעת ההטיות ומספק מדד יותר אובייקטיבי. בנוסף, העובדה שאין קשר בין השלבים מפחיתה את ההשפעה ההדדית. הגדרת הבעיה מדי שנה ישנם כ מועמדים לקבלה לתוכנית הלימודים השש שנתית בביה"ס לרפואה באוניברסיטת ת"א. בעבר המיון התבסס על שלושה שלבים: 1) קבלת המועמדות רישום ללימודי רפואה מותנה בסף פסיכומטרי מעל ) מיון המועמדים לפי ציון התאמה קוגנטיבי, שהוא שקלול של ממוצע ציוני הבגרות והבחינה הפסיכומטרית, כלומר ביטוי לכישורים קוגניטיביים וסכולסטיים. 3) המועמדים בעלי הציונים הגבוהים ביותר זומנו לראיון קבלה שהיה מיועד לאתר מועמדים בעלי בעיות פתופסיכולוגיות. החל משנת 2004 השתנה ההליך: בשלב השני נבחרה קבוצת מועמדים גדולה יותר (בערך פי 2-3 ממספר המתקבלים באותה שנה) ונשלחה למבחני. לפי ממוצע של ציון ההתאמה המקורי וציון חושב ציון התאמה חדש. בשלב השלישי והסופי, המועמדים דורגו על-פי ציון ההתאמה החדש ובעלי הציונים הגבוהים ביותר התקבלו. כתוצאה משינוי קריטריון הקבלה, חלק מהמועמדים התקבלו הודות לשינוי במקום אחרים שלולא השינוי היו מתקבלים. נציין שכל המועמדים שהגיעו לשלב המיון השלישי הפגינו יכולות קוגניטיביות גבוהות ובאופן כללי מדובר באוכלוסיה אחידה למדי מבחינה זו. כיוון ששלב המיון הנוסף נועד למדוד יכולות התנהגותיות, משמעות הדבר היא שהקבלה מושפעת פחות מבעבר על ידי קריטריונים קוגנטיביים. לכן מועמדים בעלי ציונים קוגניטיביים מעט נמוכים יותר התקבלו במקום אחרים שציוניהם גבוהים יותר. הערכת השלכות השינוי בגישה ישירה רחוקה מלהיות פשוטה. ראשית, הגדרת התוצא להצלחה, המבטאת את השקפות בית-הספר לרפואה. שנית, דרוש זמן רב של מעקב אחרי קבוצת מחקר וקבוצת ביקורת, שבמסגרתו יושוו הביצועים של התלמידים שהתקבלו הודות לשינוי לעומת הביצועים של אלו שלא התקבלו בגלל השינוי. מחקר מסוג זה לא ניתן לביצוע, כיוון שאין לנו מידע על מועמדים שלא התקבלו (אי-קבלה לא קובעת שהמועמד לא "חכם" מספיק בכדי להתקבל לבית-ספר אחר). לכן אנו מציעים גישה שמייצגת בקירוב את הגישה הישירה (להלן: צמצום מחזור מקורב). המטרה העיקרית של העבודה המוגשת בזאת, הייתה לבחון את השינויים שנגרמו כתוצאה מהשינוי בהליך הקבלה, בהדגשת השאלה "האם הוספת פגעה בבחירת מועמדים בעלי רמה אקדמית גבוהה"? 8

10 חשיבות העבודה א. ב. ג. המועמדים שמתקבלים ללימודי רפואה מהווים קבוצה מאוד איכותית והומוגנית מבחינת החתך הקוגניטיבי, וכמעט כולם מסיימים את הלימודים בהצלחה ובסופו של דבר הופכים לרופאים. כתוצאה מכך, תהליך הקבלה מהווה גורם משמעותי בקביעת הכשרתם ורמתם של רופאי העתיד. כל שינוי במדדים המשמשים למיון מחייב בדיקת השלכות השינוי. מטרת תהליך המיון היא לקבל את המועמדים המבטיחים ביותר, ואנו חייבים לבחון ולבדוק האם השינויים עוזרים לקדם מטרה זו או פוגעים בה. ישנו קונצנזוס שלרופא צריכות להיות יכולות אקדמיות וקוגניטיביות מעולות ושניתן למדוד תכונות אלו בקלות. גישת המיונים החדשה לא מסתפקת בכך וגורסת שלא די שהרופא "חכם" ועליו להיות גם "נחמד". על רקע זה, הוחלט להוסיף את מבחן כשלב נוסף בקבלה של תלמידי רפואה באוניברסיטת ת"א. נעשו מספר ניסיונות תיקוף למבחני MMI דומים בעולם בין השאר נבדק האם MMI עשוי לנבא ממוצע ציונים אקדמי, הערכת מנהלי מחלקות וטיוטורים בסבבים הקליניים ותוצאות מבחנים ארציים. כמו-כן נעשתה השוואה של יכולות הניבוי של ה- MMI לעומת שיטות מיון אחרות. 26 מחקר שנעשה לאחרונה באוניברסיטה העברית, והוצג בכנס האגודה הישראלית לפסיכומטריקה (אפ"י), בחן את הקשר בין מבחן מרק"ם (מערכת ראיונות קצרים מובנים) המשמש את בית-הספר לרפואה של האוניברסיטה העברית, לבין ציון הערכת עמיתיהם. נמצא כי למבחני מרק"ם יש יכולת לנבא כישורים לא-קוגניטיביים ובייחוד כישורי תקשורת ותפיסה אתית מורכבת של סיטואציות שונות. 27 בשונה מהניסיונות הללו, אין מטרת המחקר לתקף את השיטה. עצם הוספת מבחני אישיות הינה בעלת חשיבות משום שבכך מצהירים שאין להסתפק בכך שהסטודנטים יהיו "חכמים". זהו מסר ציבורי של הוקרת יושרה, יכולות תקשורת ותכונות מוסריות ברופאי העתיד. 18 בהוספת למעשה מפחיתים ממשקל ציוני הקבלה הקוגניטיביים. אנו מבקשים לבחון באיזו מידה פוגעת הוספת בתוצאים הקוגניטיביים המקובלים, ואיזה שינויים נגרמים לאוכלוסיית המתקבלים. באופן כללי, שינוי בהליך הקבלה מתבטא בכך שמועמדים מסוימים מתקבלים הודות לשינוי בדרוג, על חשבון מספר זהה של מועמדים שלא התקבלו בגלל השינוי. כאמור לעיל, אין לנו נתונים על מועמדים שלא התקבלו, על כן החלטנו לבדוק קירוב לתוצאות על ידי אנליזה של התוצאות באוכלוסיית המתקבלים כתוצאה מהשינוי, אילו מספר המקומות במחזור היה קטן ב- 20%. באופן כזה, ניתן היה לזהות את אלו שהיו מתקבלים בזכות השינוי, למרות הקיצוץ במספר המקומות, לעומת אלו שהיו נדחים בעקבותיו, כפי שיתואר בהמשך. בכדי שנוכל להשוות את שתי הקבוצות יש להגדיר מדד להצלחה. בהיעדר קריטריון טוב יותר, הצלחה בלימודי רפואה, הבאה לידי ביטוי בציוניים אקדמיים, קליניים ופרה-קליניים, שימשה בכדי לבחון את כוח הניבוי של הידע על המועמדים ושיקולי הליך הקבלה. הניתוח כלל 4 חלקים עיקריים: תועלת מבחינת יכולת ניבוי השלכות השינוי על ההרכב הדמוגרפי של המתקבלים השלכות השינוי על ממוצע הציונים האקדמי של הלומדים ד. כיצד שינוי המשקל של אותו מבחן משפיע על ההשלכות הנ"ל. ניתן לומר שהשוואת הנתונים הקיימים על שתי קבוצות הסטודנטים, שהחלטה על קבלתם הייתה משתנה אילו מספר המתקבלים היה קטן יותר, מהווה את הגישה הישירה ביותר להערכת השינוי בהליך 9

11 הקבלה. השיטה רחוקה משלמות, אך יותר רלוונטית לקבלה מאשר בדיקה של מתאמים קיימים) בין נתוני הקבלה של המועמד והתוצאים האפשריים. (שאינם שיטות קבוצת המחקר המדגם כלל את כל המועמדים שעברו את מבחני, כחלק מהמיון ללימודי רפואה בביה"ס לרפואה של אוניברסיטת תל-אביב בין השנים מספר המועמדים בכל מחזור מתואר בטבלה 1. יש לציין שבשנים חל גידול משמעותי במספר הנבחנים בעקבות אימוץ על ידי בית הספר לרפואה של הטכניון. מבחינת נתוני קבלה התקבלו ציוני ממוצע בגרות מותאם, פסיכומטרי, ציון התאמה קוגנטיבי (שקלול של ממוצע הבגרות וציון הפסיכומטרי), ומותאם (ממוצע של ציון וציון ההתאמה הקוגנטיבי). כיוון שהנתונים שהתקבלו לא הכילו את ציון הגולמי חילצנו מתוך מותאם וציון ההתאמה הקוגנטיבי את ציון לאחר תקנון (להלן: ). כמו-כן, התקבלו נתונים על מאפיינים דמוגרפיים וממוצע אקדמי של השנים הפרה-קליניות והשנים הקליניות. בנוסף נתקבלו נתוני הערכות מחלקה על 271 תלמידים שהתחילו את לימודיהם בשנים ההערכה של כל מחלקה מורכבת מ- 10 סעיפים ספציפיים ובהם סעיפים הקשורים בכישורים קוגנטיביים וסעיפים אחרים המבטאים תקשורת עם מטופלים, מוטיבציה, תקשורת עם הצוות, השתלבות במחלקה, ויכולת בפתרון בעיות. הנתונים נמסרו על-ידי הפקולטה כך שלכל מועמד/סטודנט נקבע קוד סידורי שבאמצעותו רק מחלקת המחשוב יכולה לזהות את הפרט. באופן זה נשמר חיסיון גמור על פרטי הנבדקים. טבלה 1. שלבי המיון בקבלה לביה"ס לרפואה באוניברסיטת ת"א בשנים סה"כ מחזור מספר נבחני מו "ר מסגרת 1. אלגוריתם חלוקה לקבוצות הניתוח הסטטיסטי תחילה השתמשתי בתוכנת SPSS לבדיקת הקשר (קורלציה) בין משתני הקבלה (פסיכומטרי, ציוני בגרות ומבחן ) לבין תוצאות של ממוצע הציון הפרה קליני וממוצע הציון הקליני. בנוסף נבדק ברגרסיה לינארית הקשר בין משתני הקבלה וממוצע הציונים הפרה-קליני לתוצאות של ממוצע הציונים הקליני. 28 בעקבות הוספת מבחן לתהליך המיון, השתנה דירוג המועמדים. יתכן שמועמדים שהיו בדירוג גבוה לפני השינוי ירדו ובמקומם עלו מועמדים שהיו ממוקמים בדירוג נמוך יותר. במילים אחרות נעשתה תחלופה של מועמדים. הגישה הישירה לבדוק את ההשלכות לכך, מחייבת להשוות את הדרוג של הסטודנטים בתהליך מיון שכולל את מבחן לעומת הדרוג של הסטודנטים ללא מבחן. כלומר יש להשוות בין המועמדים שהתחלפו ולראות מה השתנה. לשם כך כתבתי אלגוריתם בתוכנת MATLAB (מסגרת 1). מציאת רף תחתון מותאם עם מור% y = quantile(da(:,4),th); i1=find(da(:,4)<=y); j1=find(da(:,4)>y); מציאת רף תחתון ציון התאמה קוגנטיבי% y = quantile(da(:,7),th); i2=find(da(:,7)<=y); j2=find(da(:,7)>y); interworst=intersect(i1,i2); interaccept=intersect(j1,j2); קביעת הקבוצות% g1 = setdiff(i1, interworst); g2 = setdiff(i2, interworst); g3 = interworst; g4 = interaccept; 10

12 בכל שנה המועמדים דורגו פעמיים: ראשית לפי הציונים הקוגנטיביים בלבד (ציון התאמה קונטיבי), ושנית לפי ממוצע של הציונים הקוגנטיביים וציון מבחן (מותאם כולל ). לפי מספר הסטודנטים שהתקבלו באותה שנה, נקבע סף הקבלה כך שעבור כל דירוג המועמדים חולקו ל"נדחים" (מתחת לסף הקבלה) ו"מתקבלים" (מעל לסף הקבלה). לאחר הצלבת שני הדירוגים, כל המועמדים חולקו ל- 4 קבוצות: נדחים בעקבות הוספת ציון תלמידים עם דרוג קוגנטיבי גבוה או שווה לסף הקבלה (ללא הוספת מבחן היו מתקבלים), אך בשקלול עם ציון עברו אל מתחת לסף הקבלה (בעקבות הוספת ה קבוצה זו לא היתה מתקבלת). מתקבלים בעקבות הוספת ציון תלמידים עם דרוג קוגנטיבי מתחת לסף הקבלה (הסטודנטים עם הדרוג הקוגנטיבי הנמוך ביותר), אך בדרוג שכולל עברו את הסף (במידה ולא היו מכניסים את מבחן, קבוצה זו לא היתה מתקבלת). נדחים בכל מקרה תלמידים עם דרוג קוגנטיבי ודרוג של ציון כולל שקטן מהסף הקבלה בשני הדרוגים (מועמדים אלו היו נדחים, בין אם היו מוסיפים את מבחן ובין אם לא). מתקבלים בכל מקרה תלמידים עם דרוג קוגנטיבי ודרוג של ציון כולל מעל סף הקבלה (קבוצה זו לא הושפעה מהוספת ). תרשים 1. תיאור איכותי של חלוקה לקבוצות דירוג לפי ציון התאמה קוגנטיבי דירוג לפי ציון מותאם כולל מור חלוקה לקבוצות מתקבלים סף קבלה מתקבלים בכל מקרה מתקבלים בזכות מור נדחים בעקבות מור נדחים נדחים בכל מקרה.SPSS לסיכום יהיו לנו 4 קבוצות של סטודנטים בהתאם לנתונים של כל שנתון (תרשים 1): סטודנטים שהיו נדחים בגלל. א. סטודנטים שהיו מתקבלים בזכות. ב. סטודנטים שהיו נדחים עם או בלי. ג. סטודנטים שהיו מתקבלים עם או בלי. ד. נערכה השואה של נתוני הקבלה והמאפיינים הדמוגרפיים בין הקבוצות בעזרת הסטטיסטי עבור השוואה בין משתנים רציפים היה מבחן ANOVA ו- t-test המבחן ועבור משתנים קטגוריאליים מבחן 2 או מבחן.Fisher כמובן שעיקר ההתמקדות היתה בקבוצות א' ו-ב' המשקפות את ההחלפה שנגרמה כתוצאה מהוספת לתהליך המיון. כמו-כן, בדקתי את השינויים האקדמיים שנגרמו בעקבות הוספת. כיוון שלא ניתן לדעת מה היו הביצועים של מועמדים שלא התקבלו, השתמשתי בשיטת "צמצום מחזור מקורב" שעל פיה השתמשתי 11

13 בנתונים הידועים לי על מועמדים שהתקבלו ולא היו מתקבלים על פי הקריטריונים השונים אילו היו בכיתה 80% מהתלמידים. בכל מחזור ביצעתי את החלוקה שתוארה קודם מתוך הנחה שהאוניברסיטה יכלה לקבל מספר קטן יותר של סטודנטים. כלומר הסטודנטים בדרוג הנמוך ביותר לכאורה לא היו מתקבלים. בצורה זו, יצרנו מודל, המדמה מצב של סטודנטים ש"לא התקבלו", ואף-על-פי-כן ידועים לנו כיום ההישגים האקדמיים לפי ציוני המבחנים הפרה-קליניים והקליניים וציוני הערכת מחלקה של השנים הקליניות. כמצוין, נמצא שהוספת מבחן גרמה לשינוי של כ- 20% בקבוצת המתקבלים. 18 לפיכך בחרנו להשוות את הקבוצות לו מספר המקומות בכל שנה היה מצטמצם ב- 20%. בכל שנתון השוויתי בין הנתונים האקדמיים והערכות המחלקה של הקבוצות על-מנת לראות האם קיימים הבדלים מובהקים סטטיסטית, כאשר ממוצע הציונים הקליני היווה את המדד העיקרי להצלחה. בשלב האחרון, נבדקה ההשפעה של משקל על המדדים וגודל הקבוצות שתוארו קודם בעזרת שימוש באלגוריתמים שנכתבו בתוכנת.MATLAB עיקר ניתוח הנתונים והניתוח הסטטיסטי נעשה בתוכנות MATLAB ו- SPSS. בונסף השתמשתי בתוכנת Excel לשם בניית גרפים ועריכת טבלאות. 12

14 תוצאות משתתפים טבלה 2 מתארת את מספר המועמדים בכל אחד משלבי המיון. נדגיש כי מספר המועמדים הראשוני כולל אך ורק מועמדים שנרשמו (כלומר בעלי ציון פסיכומטרי 670 ומעלה). אין בידינו נתונים על מספר הפונים לרישום שלא עמדו בתנאים. סף הזימון למבחן בשנים נע בין ציון התאמה קוגנטיבי של 622 ל חתך הקבלה בשנים אלו נקבע לפי ציון מותאם- שנע בין 692 ל טבלה 2. שלבי המיון בקבלה לביה"ס לרפואה באוניברסיטת ת"א בשנים מספר מספר נבחני מספר 1 מתקבלים מועמדים מחזור כולל רק מועמדים שעברו את סף הפסיכומטרי המינימלי 670 אחוז מתקבלים מנבחני 36 % 45 % 24 % 23 % 32% אחוז מתקבלים מכלל המועמדים 11% 12% 9 % 10% 10% ציון סף חתך קבלה זימון ל סיכום מאפייני אוכלוסיית המחקר מתוארים בטבלה 3. הרכב המחזורים היה כמעט זהה בכל השנים מבחינת הנתונים הדמוגרפיים וממוצע ציוני הקבלה. שנת 2007 (n=527) (2.53) (49%) 256 (51%) 271 (76%) 400 (24%) 127 (88%) 463 (12%) 64 (75%) 396 (25%) 131 (4.41) (23.02) (15.85) (15.56) (10.64) ה 3. מאפיינים כלליים של המועמדים לקבלה שנת 2006 (n=488) שנת 2005 (n=275) שנת 2004 (n=276) פיין (2.82) (2.69) (2.35) ממוצע יית תקן) (52%) 242 (49%) 134 (49%) 136 גברים (48%) 246 (51%) 141 (51%) 140 נשים (67%) 327 (78%) 214 (81%) 224 יהודי (33%) 161 (22%) 61 (19%) 52 לא יהודי (88%) 431 (92%) 253 (93%) 257 כן הארץ: (12%) 57 (8%) 22 (7%) 19 לא (52%) 255 (69%) 190 (86%) 238 ות כן (48%) 233 (31%) 85 (14%) 38 י/לאומי: לא (4.20) (4.36) (3.61) צע ציוני בגרות (26.39) (25.69) (25.06) ה (סטיית פסיכומטרי : (15.65) (10.48) (11.70) התאמה קוגנטיבי (11.66) (10.69) (9.76) (9.68) (7.01) (7.76) מותאם שוב לא נכללו מועמדים שזומנו בשנים 2004 עד (4, , 4, מועמדים בהתאמה) שלא על-סמך ממוצע ציוני הבגרות. 13

15 קשר בין ציוני קבלה וציונים אקדמיים בשלב הראשון, השתמשתי בשיטות המקובלות של מדדי קשר ומנבאים אפשריים נתוני הקבלה השונים (כולל ציון ) בבחירת מועמדים. א. חישוב מקדמי קשר לפי מתאם פירסון דו-צדדי נבדק הקשר בין ציוני הקבלה של כל המועמדים שזומנו למבחן לפי מתאם פירסון דו-צדדי (טבלה 4). נמצא קשר שלילי חזק (0.67-) בין הגיל לבין הציון הממוצע בבחינות הבגרות וקשרים מובהקים (0.01>p) בין הגיל לבין ציוני ובין הגיל לבין הציון הפסיכומטרי (0.43 ו בהתאמה). בכל השנים נמצאו קשרים מובהקים (0.01>p) בין ציוני הקבלה השונים. פירוט הקורלציות של כל מחזור השנים ניתן למצוא בנספח (טבלה I). טבלה 4. מתאם פירסון בין נתוני קבלה (p-value) של נבחני בשנים ממוצע התאמה מותאם עם בגרויות 1 פסיכומטרי קוגנטיבי גיל () () () () () ממוצע בגרוי 1 ו ת () 00) (0 () () פסיכומטרי () () () התאמה קוגנטיבי () () 0.62 () 1 בחישוב הקורלציה עבור ציוני הבגרות לא נכללו מועמדים שזומנו בשנים 2004 עד (4, , 0, 3 בהתאמה) שלא על-סמך ממוצע ציוני הבגרות. קשר בין נתוני הקבלה של הסטודנטים לבין ממוצע הציונים האקדמי בכל מחזור לימודים (טבלה 5). נמצאו קשרים מובהקים (0.01>p) אך חלשים, בין הציונים במבחן הפסיכומטרי, מותאם עם ומותאם ללא, לממוצע הציונים הקליני והפרה-קליני. בנוסף נמצא קשר חזק בין ממוצע הציונים הפרה-קליני לממוצע הציונים הקליני. פירוט הקורלציות של כל מחזור, לפי שנה, ניתן למצוא בנספח (טבלה (II טבלה 5. מתאם פירסון בין נתוני קבלה וציונים אקדמיים p-value) ל) סטודנטים שהחלו את לימודיהם בשנים פרה-קליני מותאם עם התאמה קוגנטיבי 2 פסיכומטרי ממוצע בגרוי 1 ו ת גיל * קליני **() (0.20) (0.62) *(0.02) *(0.05) (0.21) (0.03) פרה-קליני *(0.01) (0.85) **() **() (0.19) (0.53) * - מובהק עבור p<0.05 ** - מובהק עבור p<0.01 בחישוב הקורלציה עבור ציוני הבגרות לא נכללו סטודנטים שזומנו בשנים (3, ו- 1 בהתאמה) שלא על-סמך ממוצע ציוני הבגרות. 2 בחישוב לא נכללו סטודנטים שהתקבלו בשנים (25, , ו- 1 בהתאמה) שעבורם לא התקבל הציון. 3 בחישוב לא נכללו 28 סטודנטים שעבורם לא התקבל ממוצע ציונים של השנים הקליניות ו- 4 סטודנטים שעבורם לא התקבל ממוצע ציונים פרה-קליני. בנוסף בדקנו מדדי קשר בין נתוני הקבלה והציונים האקדמיים להערכות מחלקה (טבלה 6). מבין נתוני הקבלה נמצאו מספר קשרים מובהקים להערכות המחלקה, אך כולם היו חלשים. לעומת זאת, לממוצע 14

16 הציונים הקליני והפרה-קליני נמצאו קשרים מובהקים (0.01>p) ומשמעותים יותר (טבלה III בנספח). חשוב לציין שבין רוב סעיפי ההערכה השונים נמצאו קשרים מובהקים (1>p) וחזקים. טבלה 6. מתאם פירסון בין נתוני קבלה, ציונים אקדמיים נתוני קבלה השתלבות תקשורת תקשורת וציונים במחלקה עם הצוות עם חולים אקדמיים והערכות מחלקה (p-value) של מחזורים כללי 1 *0.12 (0.02) 0.09 (0.09) 0.11 (0.06) 0.10 (0.06) 0.07 (0.19) 0.08 (0.12) **0.23 () **0.24 () אנמנזה 0.06 (0.23) 0.05 (0.36) 0.08 (0.14) 0.10 (0.07) 0.06 (0.29) **0.14 (0.01) **0.31 () **0.29 () לימוד עצמי 0.06 (0.28) (0.91) 0.05 (0.40) 0.09 (0.09) (0.86) *0.12 (0.03) **0.24 () **0.26 () ציון סופי 0.06 (.25) 0.08 (0.18) *0.11 (0.05) 0.10 (0.07) 0.04 (0.40) 0.08 (0.13) **0.35 () **0.37 () ציון בחינה (0.68) (0.54) 0.05 (0.47) *0.15 (0.02) 0.09 ( (0.23) **0.35 () **0.57 () **0.14 (0.01) *0.11 (0.02) 0.09 (0.09) 0.05 (0.32) 0.06 (0.27) 0.05 (0.39) **0.21 () **0.23 () *0.11 (0.04) 0.05 (0.37) 0.06 (0.29) 0.07 (0.16) 0.04 (0.44) 0.01 (0.90) **0.21 () **0.22 () *0.13 גיל (0.02) 0.15** (0.01) מותאם עם 0.15* (0.01) התאמה 0.09 קוגנטיבי (0.09) פסיכומטרי 0.03 (0.61) בגרות 0.06 (0.23) פרה-קליני 0.15** () קליני 0.13** (0.01) * - מובהק עבור p<0.05 ** - מובהק עבור p<0.01 ב. חישוב מקדמי ניבוי ברגרסיה ליניארית חישוב מקדם ניבוי ברגרסיה ליניארית (stepwise) הראה שבכל השנים רק הציון הפרה-קליני הממוצע מהווה מנבא מובהק ומשמעותי לציון הקליני. תוצאות הרגרסיה הליניארית לניבוי הציון הקליני מסוכמות בטבלה 7. טבלה 7. רגרסיה לינארית (stepwise) של ממוצע ציונים קליני במחזורים רמת מובהקות ביטא ערך מנבא שנה 0.65 ממוצע פרה-קליני ממוצע פרה-קליני ממוצע פרה-קליני ממוצע פרה-קליני ממוצע פרה-קליני לא נמצא בנתוני הקבלה אף מקדם ניבוי משמעותי של ציוני הערכות המחלקה בשנים הקליניות. נמצא שממוצע הציונים של השנים הפרה-קליניות מהווה מקדם ניבוי מובהק (0.01>p) של רוב הקטגוריות בהערכת המחלקה. פירוט התוצאות בנספח (טבלה.(VI 15

17 שינויים בתוצאות הקבלה כיוון שניתוח מדדים לא הדגים קורלציות, בחנתי את תחלופת המועמדים שנגרמה בעקבות הוספת לתהליך המיון. א. מימדי תחלופת המועמדים מאפשר למועמדים שמקבלים בו ציונים גבוהים להתקבל במקום מועמדים בעל ציונים קוגנטיביים גבוהים יותר. טבלה 8 מציגה את גודל התחלופה ושיעורה בשנים בסיכום כלל שנתי גרם לתחלופה בשיעור של 33% מהמתקבלים. טבלה 8. תחלופת מועמדים בשל בשנים שיעור תחלופה גודל תחלופה מתקבלים מחזור 25% % % % % ציוני קבלה ב. כפי שנאמר, בכל שנתון המועמדים שזומנו למבחן חולקו לארבע הקבוצות. טבלה 9 מסכמת את ציוני הקבלה של הקבוצות שנוצרו. בניתוח שונות (ANOVA) נמצאו הבדלים מובהקים בין הקבוצות בכל אחד מציוני הקבלה. בניתוח Post Hoc נמצא שקיים הבדל מובהק סטטיסטית בין קבוצות א' ו-ב' בכל הפרמטרים, למעט בציון הפסיכומטרי בשנים , השוואה בין הקבוצות בעזרת מבחן t הראתה תוצאות דומות. פירוט התוצאות לכל מחזור מופיע בנספח (טבלה.(VII כצפוי ציון התאמה קוגנטיבי גבוה בקבוצה א' בהשוואה לקבוצה ב'. זאת למרות שציון הפסיכומטרי של קבוצה ב' גבוה יותר. יש לציין שהשוואה בין קבוצה א' לקבוצה ד' (מתקבלים בכל מקרה), בארבעת המחזורים, הראתה הבדלים מובהקים בציוני הקבלה. השוואה בין קבוצה ב' לקבוצה ד' הראתה הבדלים מובהקים ברוב הציונים, למעט ציון מותאם (במחזורים ) ובציון הפסיכומטרי (במחזור 2005 בלבד) (סטיית תקן) טבלה 9. השוואת ממוצעי ציוני קבלה של נבחני בשנים התאמה קוגנטיבי פסיכומטרי בגרויות גודל הקבוצה הגדרה קבוצה נדחים 171 (7.14) (22.45) (3.65) בעקבות א' מתקבלים 171 (7.87) (19.62) (3.73) בזכות ב' (11.39) (24.60) (4.06) 930 נדחים ג' (11.81) (21.78) (7.35) 343 מתקבלים ד' מותאם (3.09) (5.40) (7.55) (0.88) ציון (6.86) (10.79) (9.41) (11.44) ANOVA מבחן t בין קבוצות א' ו-ב' P Value p Value 16

18 ג. שינויים דמוגרפיים נמצא שבכל המחזורים הגיל הממוצע של המועמדים בקבוצה ב' גבוה מגילם של המועמדים בקבוצה א' באופן מובהק (0.01>p). נערכה השוואה בין הקבוצות המתחלפות (א' ו-ב') על-ידי ניתוח של משתנים קטגוריאליים. בשנים נמצאו הבדלים מובהקים בשיעור מועמדים העושים שירות צבאי/לאומי (0.01>p). כמו-כן נמצאו הבדלים מובהקים מבחינת מקום מגורים והשכלת הורים. במחזורים 2006 ו בלבד נמצא הבדל מובהק מבחינת מגדר וארץ לידה. הבדלים אלו נשארו מובהקים גם כאשר נעשה ניתוח זהה עבור ארבעת המחזורים ביחד (טבלה 10). שאר הנתונים מופיעים בנספח (טבלה.(VIII טבלה 10. השוואת מאפייני אוכלוסייה של הקבוצות המתחלפות בקרב נבחני בשנים (גודל כל קבוצה = 171) קבוצה אחוזון תחתון עם אך לא באחוזון אחוזון תחתון ללא אך לא באחוזון תחתון p-value עם (מתקבלים בזכות). תחתון ללא (נדחים בעקבות). קבוצה ב' קבוצה א' ** (4.46) (2.06) גיל ממוצע (SD) ** נשים 106 גברים 65 נשים 78 גברים 93 מגדר ** אחר 117 מחוז ת"א 54 אחר 142 מחוז ת"א 29 מגורים ** לא 5 כן 166 לא 105 כן 66 שירות צבאי/לאומי 0.64 לא אקדמית 49 אקדמית 122 לא אקדמית 53 אקדמית 118 השכלת אב ** לא אקדמית 48 אקדמית 123 לא אקדמית 75 אקדמית 96 השכלת אם **0.01 לא 26 כן 145 לא 10 כן 161 יליד הארץ * - מובהק עבור p<0.05 ** - מובהק עבור p<0.01 ניתוח תת-אוכלוסיות, הראה בכל השנים הבדל מובהק בין גברים ונשים מבחינת גיל (למעט מחזור 2007) וציון (למעט מחזור 2004). הבדלים משמעותיים יותר נמצאו בין מועמדים שעושים שירות צבאי/לאומי לעומת כאלו שלא. בנוסף נמצא הבדל מובהק בהתפלגות נשים וגברים מבחינת שירות צבאי/לאומי בשלב הזימון ל. הבדל זה לא בא לידי ביטוי בקרב מחזורי המתקבלים בפועל למעט מחזור הנתונים המלאים מופיעים בנספח (טבלה,IX ו- X בהתאמה). ד. שיעורי מימוש לא כל מי שמתקבל גם מממש זכותו להתקבל. בשל התחרות הרבה בארץ, כמעט כל מי שמעוניין ללמוד רפואה, נרשם מראש לרוב בתי-הספר (אם לא לכולם) בכדי להגדיל את סיכוייו. לכן, מועמד שהיה אמור להידחות, עשוי להתקבל במידה ומועמדים בעלי ציון התאמה גבוה יותר יוותרו על מימוש קבלתם. העדפות בתי-הספר של המועמדים וכן דירוג המועמדים על-ידי בתי-הספר אינם ידועים לנו. בשל כך, לא ניתן לדעת את הרכב המחזור בהסתמך על הדירוג באופן בלעדי. שיעור המימוש הכלל-שנתי עומד על 61% בקרב המועמדים שקיבלו את הדירוג הגבוהה ביותר (תרשים 2). שיעור המימוש גבוה יותר בקרב אלו שהתקבלו בזכות (קבוצה ב') בהשוואה לשיעור המימוש בקרב המתקבלים בכל מקרה (קבוצה ד'). מבין הנדחים, למועמדים בקבוצה א' (נדחים בעקבות הוספת ) ציון התאמה גבוה יותר מאשר מועמדים בקבוצה ג' (נדחים בכל מקרה). המקומות שהתפנו עקב אי-מימוש, מולאו דווקא על-ידי מועמדים מקבוצה ג' (תרשים I בנספח). 17

19 תרשים 2. שיעורי מימוש מתוך בעלי הדירוג הגבוה ביותר לפי מותאם כולל, בשנים % 80% 70% 60% 50% 73% 72% 74% 69% 65% 81% 56% 57% 54% 63% 65% 52% 73% 61% 70% 40% 30% 20% 10% 0% ב - מתקבלים בזכות ד - מתקבלים סה "כ שינויים אקדמיים לאחר שבדקתי את השינויים מבחינת נתוני הקבלה, על כלל המועמדים שזומנו ל, ניתחתי את השינויים בקרב סטודנטים שהגיעו לשלב הלימודים הקליני. א. ממוצע ציונים אקדמי השוואה לפי סבבי קבלה רובם המוחלט של המועמדים נרשם ליותר מבית-ספר אחד. כיוון שחלק מהמועמדים בסופו של דבר גם מתקבלים ליותר ממקום אחד, הקבלה נעשית בשלבים. בשלב הראשון, המועמדים עם ציון ההתאמה הגבוה ביותר מקבלים מכתבי קבלה בעוד שאר המועמדים נמצאים בשלב "המתנה". אלו שזכו להתקבל צריכים להודיע תוך זמן קצוב על כוונתם לממש את הקבלה. במידה ונשארו מקומות פנויים, עקב אי- מימוש, נשלחת הודעה למועמדים הממתינים בתור, וחוזר חלילה עד מילוי כל המקומות. בתרשים 3 מוצגים ההישגים האקדמיים של מועמדים שהתקבלו בסבב הראשון (בעלי ציון ההתאמה הגבוה ביותר באותה שנה) לעומת השגי המועמדים שהתקבלו בסבבים מאוחרים יותר. לא נמצא הבדל מובהק בין הקבוצות וכן לא ניתן לראות ייתרון לאף קבוצה. 18

20 תרשים 3. השוואת ממוצעי ציוני קבלה וציונים אקדמיים לפי סבב קבלה (סטיית תקן) ב. מחזור 2005 א. מחזור ממוצע קליני ממוצע פרה- קליני ממוצע קליני ממוצע פרה- קליני ג. מחזור 2006 לאחר המתנה ) 34 סטודנטים) סבב ראשון (90 סטודנטים) ד. מחזור 2007 לאחר המתנה (46 סטודנטים) סבב ראשון (101 סטודנטים) ממוצע קליני ממוצע פרה- קליני ממוצע קליני ממוצע פרה- קליני לאחר המתנה (53 סטודנטים) סבב ראשון (67 סטודנטים) לאחר המתנה (46 סטודנטים) סבב ראשון (77 סטודנטים) ב. ממוצע ציונים אקדמי השוואה לפי צמצום מחזור מקורב בכל מחזור, הסטודנטים חולקו לארבעת הקבוצות שתוארו לעיל. כפי שנאמר, חלוקה זו מבוססת אך ורק על נתוני המועמדים שהתחילו את לימודיהם בשנים נדחים/מתקבלים לו מספר מקומות הקבלה היה קטן ב- 20% ומדמה אילו סטודנטים היו טבלה 11 מסכמת את ממוצע הציונים האקדמיים של הקבוצות. בניתוח שונות (ANOVA) לא נצפו הבדלים מובהקים בין הקבוצות למעט ממוצע פרה-קליני במחזורים 2004 ו- 2007, ובממוצע קליני במחזור ניתוח Post Hoc הראה הבדלים מובהקים בין קבוצות א' ו-ב' רק בממוצע קליני של מחזור בניתוח כלל שנתי לא נמצאו הבדלים מובהקים בין הקבוצות. בהשוואה בין הקבוצות בעזרת מבחן t נצפו תוצאות דומות. יש לציין שהשוואה בין קבוצות א' ו-ב' לקבוצה ד' (מתקבלים בכל מקרה), בשלושת המחזורים, הראתה הבדלים מובהקים בציוני הקבלה אך לא מבחינת הציונים האקדמיים. 19

21 א' ב' ג' ד' ג. טבלה 11. השוואת ממוצעי ציונים אקדמיים במחזורים א. לימודים פרה-קליניים מחזור קבוצה ממוצע גודל ממוצע גודל הגדרה קבוצה קבוצה נדחים בעקבות מתקבלים בזכות נדחים מתקבלים הערכות מחלקה השוואה לפי צמצום מחזור מקורב השוויתי את קבוצות א' ו-ב' מבחינת ציוני הערכות מחלקה של השנים הקליניות במחזור בשנים נמצאו הבדלים מובהקים בתחומים המפורטים בטבלה 12. לעומת זאת בהשוואה כלל שנתית לא נמצאו שום הבדלים מובהקים בין הקבוצות. לפי קבוצות (סטיית תקן) 2007 ממוצע גודל קבוצה (5.35) (5.13) (4.58) (5.07) 81 * ממוצע גודל קבוצה (6 52) (4.55) (4.41) (4.86) (4.73) (4.90) (3.84) (5.06) (5.09) (3.91) (3.84) (5.21) ** ANOVA P Value p Value מבחן t בין קבוצות א' ו-ב' 1 ב. לימודים קליניים קבוצה מחזור הגדרה א' ב' ג' ד' נדחים בעקבות מתקבלים בזכות נדחים מתקבלים ממוצע גודל קבוצה (5.00) (4.96) (5.77) (5.59) ממוצע גודל קבוצה (6.91) (4.45) (3.20) ) ממוצע גודל קבוצה (2.88) (3.29) (5.10) (3.45) 101 * ממוצע גודל קבוצה ( (3.28) (5.99) (4.24) 89 ANOVA P Value p Value 1 מבחן t בין קבוצות א' ו-ב' * **0.01 ** בחישוב לא נכללו 28 סטודנטים שעבורם לא התקבל ממוצע ציונים של השנים הקליניות ו- 4 סטודנטים שעבורם לא התקבל ממוצע ציונים פרה-קליני. P-value (t-test) טבלה 12. השוואת ממוצעי הערכות מחלקה קבוצה א' סטיית ציון תקן סוג הערכה מחזור ציון בחינה תקשורת עם מטופלים 2005 קבוצה ב' ציון סטיית תקן נעשתה השוואה נוספת, בה הקבוצות חולקו מתוך הנחה שמשקל הוא 100% מתוך ציון המותאם הסופי (כלומר בשלב הקבלה הסופי אין כל התחשבות בציון ההתאמה הקוגניטיבי). בהשוואה זו נמצא שהערכות של קבוצת המתקבלים בזכות טובות יותר משל קבוצת הנדחים בעקבות. במחזור 2005 וכן בניתוח דו-מחזורי עבור , ההבדלים אף היו מובהקים (טבלה 13). 20

22 טבלה 13. השוואת ממוצעי הערכות מחלקה משולב עבור מחזורים P-value קבוצה ב' קבוצה א' ציון סטיית ציון סטיית (t-test) תקן תקן סוג הערכה מוטיבציה תקשורת עם הצוות השתלבות במחלקה כללי ציון סופי ד. יכולת דחיית אחוזונים נמוכים בכדי לבחון את היכולת של לסנן מועמדים שיגיעו לתוצאות אקדמיות נמוכות, בדקתי מהו מספר הסטודנטים באחוזונים הנמוכים של המחזור (מבחינת ציונים קליניים ופרה-קליניים) בקבוצות א' ו- ב'. בכל המחזורים למעט מחזור 2005 היו יותר תלמידים באחוזונים נמוכים בקבוצה ב' לעומת קבוצה א' הן בשנים הפרה-קליניות והן בשנים הקליניות. בסיכום כלל שנתי התקבלה תוצאה זהה (תרשים 4). פירוט התוצאות עבור כל מחזור נמצא בנספח (תרשים.(II רשים 4. מס' סטודנטים חלשים בקבוצות א' ו-ב' במחזורים פרה-קליני % 10% 20% 30% 40% 50% 60% ב. קליני % 10% 20% 30% 40% 50% 60% אחוזון אקדמי תחתון מס' סטודנטים חלשים אחוזון אקדמי תחתון מס' סטודנטים חלשים ה. קבלה לפי ממוצע ציונים פרה-קליני ההשוואה עד כה נעשתה בעיקר בין מועמדים שהיו מתקבלים רק לפי שיטת המיון הישנה (התאמה קוגנטיבי) לבין מועמדים שהיו מתקבלים רק לפי שיטת המיון החדשה (מותאם עם ). כפי שהתוצאות הראו, לא נמצא הבדל מובהק בין הקבוצות מבחינת הצלחה בשנים הקליניות. כמו-כן, לא נמצאו מדדי קשר או מקדמי ניבוי בין נתוני הקבלה השונים לבין ההצלחה האקדמית. המדד היחיד שנמצא כמנבא של ממוצע הציונים בשנים הקליניות בכלל ובהערכות המחלקה בפרט, היה ממוצע ציונים פרה-קליני. כפי שנעשה בהשוואה של מותאם עם להתאמה קוגנטיבי, בעזרת שיטת צמצום מחזור מקורב, בדקתי כיצד בחירת מועמדים לפי ציון-פרה קליני, תשפיע על ההצלחה האקדמית בהשואה לשימוש בציון התאמה קוגנטיבי או ציון מותאם עם (תרשים 5). בכל השנים נמצא שקבלת מועמדים לפי ממוצע-פרה קליני עדיפה באופן מובהק על שתי השיטות האחרות. הבדל זה לא נצפה כאשר עשינו את אותה השוואה על ציוני הערכות מחלקה. 21

23 תרשים 5. השוואת ממוצע ציונים קליני של קבוצות מתחלפות בעקבות שימוש בממוצע ציונים פרה-קליני כקריטריון קבלה בשנים א. השוואה מול ציון התאמה קוגנטיבי נדחים לפי ממוצע פרה-קליני אך מתקבלים לפי ציון התאמה קוגנטיבי מתקבלים לפי ממוצע פרה-קליני אך נדחים לפי ציון התאמה קוגנטיבי ב. השוואה מול ציון מותאם עם נדחים לפי ממוצע פרה-קליני אך מתקבלים לפי מותאם עם מור מתקבלים לפי ממוצע פרה-קליני אך נדחים לפי מותאם עם מור א. השפעת משקל הניתוח עד כה התייחס למצב הנתון בו ניתן משקל שווה לציון ההתאמה הקוגניטיבי (שקלול בגרות ופסיכומטרי) ולציון, בחישוב ציון ההתאמה הסופי. בדקתי איך התוצאות היו משתנות במידה ומשקל בחישוב ציון ההתאמה הסופי היה משתנה. גודל חילוף בעזרת,MATLAB בדקתי אילו קבוצות יווצרו בקרב המועמדים שזומנו ל, עבור משקל של מ- 0 ועד 100% בחישוב ציון ההתאמה הסופי. בכל השנים מספר המועמדים בקבוצות המתחלפות (א' ו- ב') גדל ככל שמשקל עולה בחישוב המותאם (תרשים 6). ניתן לראות שבמחזורים בהם היחס בין מספר המוזמנים למבחן למספר המתקבלים היה גדול יותר (2006, 2007), גם התחלופה גדולה יותר. במידה ושלב המיון האחרון היה תלוי אך ורק בציון (משקל = 100%), שיעור התחלופה בשנים 2004 ו היה 48% ו- 50% בהתאמה, ואילו בשנים , היה 78% ו- 84% בהתאמה. 22 ם 6. מספר המועמדים המתחלפים לפי משקל בחישוב המותאם בשנים

24 מספר מתחלפים % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% משקל מור בחישוב המותאם ב. שינוי בציוני קבלה בכל שנה, רף הקבלה נקבע לפי ציון ההתאמה של אחרון המתקבלים. בעבר ציון ההתאמה הורכב מציונים קוגניטיביים בלבד (שקלול ממוצע בגרויות וציון פסיכומטרי). כיוון שהכנסנו גורם נוסף (), צפוי שציון ההתאמה הקוגניטיבי של אחרון המתקבלים יהיה נמוך יותר ככל שמשקל בחישוב ציון הקבלה יעלה. בזכות הויתור הזה נצפה לקבל מועמדים עם כישורים שאינם קוגניטיביים המתבטאים בציוני גבוהים יותר. תרשים 7 מציג את השינוי שנגרם לרף ולממוצע של ציוני הקבלה ( וציון התאמה קוגניטיבי) בעקבות שינוי המשקל של בחישוב ציון הקבלה הסופי. כצפוי, ציון ההתאמה הקוגניטיבי של אחרון המתקבלים (קבוצה ב'), הולך ויורד ככל שמשקל עולה. כמו-כן, הפער בין ממוצעי ציון ההתאמה הקוגניטיבי של קבוצות א' ו-ב' גדל. כלומר הגדלת משקל הציון האישיותי, גורמת, לקבלה של מועמדים עם ציון התאמה קוגניטיבי נמוך יותר במקום מועמדים עם ציון התאמה קוגניטיבי גבוה יותר. כצפוי, ציוני של המתקבלים בזכות גבוהים משמעותית מאלה של הנידחים בגלל. בדומה לציון ההתאמה הקוגנטיבי, ציון של אחרון המתקבלים הולך ויורד ככל שמשקל עולה, אם כי בשיעור זניח. כצפוי, הפער בין ממוצעי ציון של קבוצות א' ו-ב' הולך וקטן אך לא באופן משמעותי. כלומר, ההשפעה האיכותית של משקל על ציון של המתקבלים נמוכה בהרבה ממהשפעה על הציון הקוגנטיבי. 23

25 רשים 7. שינוי בציוני קבלה של מועמדים בהתאם למשקל בחישוב הציון הסופי ון התאמה קוגניטיבי ב ממוצע ציון התאמה קוגניטיבי רף תחתון ציון התאמה קוגניטיבי משקל מור (%) (%) משקל מור 75 ון ד ממוצע ציון מור רף תחתון ציון מור משקל מור (%) משקל מור (%) ג. מעבר מועמדים בין קבוצות בכדי להבין את השינוי בציוני הקבלה, בדקתי את השינוי בגודל הקבוצות בעקבות העלאת משקל (תרשים 8). נמצא כי קבוצות ד' (מתקבלים בכל מקרה) ו-ג' (נדחים בכל מקרה) פוחתות במספר זהה של 24

26 מועמדים. במקביל, קבוצות א' (נדחים בעקבות ) ו-ב' (מתקבלים בזכות) גדלות באותו מספר. כלומר ככל שמעלים את משקל, יותר מועמדים "מתחלפים":מספר המתקבלים בזכות גדל, כתוצאה ממעבר מקבוצה ג' לקבוצה ב' ואילו מספר המועמדים שנדחים בעקבות גדל באותה מידה, כתוצאה ממעבר מקבוצה ד' לקבוצה א'. במילים אחרות, מועמדים עם ציון התאמה גבוה וציון נמוך עוברים מקבוצה ד' לקבוצה א' ומועמדים עם ציון התאמה נמוך וציון גבוה עוברים מקבוצה ג' לקבוצה ב'. מועמדים עם ציון התאמה גבוה וציון גבוה יישארו בקבוצה ד' ומועמדים עם ציון התאמה נמוך וציון נמוך יישארו בקבוצה ג'. כפי שצויין בתחילת העבודה, הנתונים שהתקבלו לא כללו את ציון ולכן השתמשתי בציוני הקבלה האחרים על-מנת לחלצו. ייתכן שהסיבה להבדלים בין עקומות ציון לעקומות ציון ההתאמה הקוגנטיבי היא שציון בו השתמשתי הוא הציון המתוקנן. לו היינו משווים את ציון המקורי של המועמדים היינו מקבלים תרשימים דומים יותר. תרשים 8. שינוי בגודל הקבוצות בעקבות העלאת משקל ד. מאפיינים דמוגרפיים כפי שהראנו, גרם לשינויים דמוגרפיים באוכלוסיית המתקבלים. בדקתי איך השינויים הללו יושפעו משינוי משקל בחישוב המותאם הסופי (טבלה 14). ניתן לראות שהמגמה שהוצגה לגבי המצב הנוכחי נשמרת. בנוסף, ככל שמשקל עולה, השינויים בעקבות החילוף מתעצמים. בעיקר ניתן לראות עלייה בגיל הממוצע ובשיעור מועמדים שעושים שירות צבאי/לאומי. טבלה 14. השפעת משקל על מאפיינים דמוגרפיים של אוכלוסיית המתקבלים בשנים מגורים השכלת השכלת שיעור עשיית שיעור ילידי שיעור ממוצע גיל מחזור הגברים הארץ שירות צבאי/לאומי אב אם במחוז ת"א

27 ה. ממוצע ציוניםקליני בדקתי בעזרת שיטת צמצום מחזור מקורב, מה יהיה הממוצע הקליני של הקבוצות המתחלפות (א' ו- ב') בהתאם למשקל בציון ההתאמה הסופי (תרשים 9). בכל המחזורים, למעט 2007, ישנה התכנסות של שתי העקומות ככל שמשקל עולה. בנוסף אפשר לראות שמעל משקל של 60% השינויים בממוצע זניחים. יש לציין שקיים הבדל מובהק בין הקבוצות במחזור 2004 כאשר משקל נע בין 24% ל- 59% ובמחזור 2007 כאשר משקל נמצא בין 38% ל- 46% וכאשר משקל עולה על 56%. ם 9. שינויים בממוצע הציונים הקליני של קבוצות א' ו-ב' בהתאם למשקל בחישוב המותאם בשנים ב % 20% 40% 60% 80% 100% משקל מור בחישוב המותאם % 20% 40% 60% 80% 100% משקל מור בחישוב המותאם ד % 20% 40% 60% 80% 100% משקל מור בחישוב המותאם % 20% 40% 60% 80% 100% משקל מור בחישוב המותאם ו. ממוצע הערכות מחלקה כפי שנאמר הערכות המחלקה מחולקות ל- 10 סעיפים שונים. חילקתי את הסעיפים (למעט ציונים כלליים שאליהם לא התייחסתי) ל- 2 קבוצות: 1. ציונים תקשורתיים תקשורת עם חולים, תקשורת עם הצוות, מוטיבציה, השתלבות במחלקה ופתרון בעיות. 2. ציונים קוגניטיביים ידע רפואי, אנמנזה, אבחנה מבדלת, לימוד עצמי, ציון בחינה. 26

28 בדקתי מה יהיה הממוצע של קבוצות א' (נדחים בעקבות) ו-ב' (מתקבלים בזכות) מבחינת ציונים תקשורתיים וציונים קוגניטיביים במחזורים עליהם התקבלו הערכות ( ). בנוסף לכך, בדקתי כיצד משקל ישפיע על התוצאות הנ"ל. בתרשים 10 ניתן לראות שבמחזור 2004 ישנו ממוצע קוגניטיבי ותקשורתי גבוה יותר בקבוצה א' מאשר קבוצה ב'. פער זה מצטמצם ככל שמעלים את משקל בחישוב ציון הקבלה הסופי. כלומר ככל שמעלים את משקל, מקבלים מועמדים טובים יותר במקום מועמדים טובים פחות מבחינת הערכות מחלקה. לעומת זאת ב כמעט ואין הבדל בין הקבוצות עם ייתרון קל לקבוצה ב' בשני התחומים. במחזור זה קבוצה ב' כמעט ואינה משתנה מבחינת ממוצע הציונים. לעומת זאת, ניתן לראות ירידה קלה בממוצע התקשורתי של קבוצה א' ככל שמשקל עולה. כלומר אנחנו דוחים יותר מועמדים שהצלחתם בתחום זה נמוכה. רשים 10. שינוי מבחינת ממוצעי הערכות מחלקה בהתאם למשקל בחישוב הציון הסופי 2004 ב ממוצע תקשורתי ממוצע קוגניטיבי משקל מור (%) משקל מור (%) 2005 ד ממוצע תקשורתי ממוצע קוגניטיבי משקל מור (%) משקל מור (%) 27

29 דיון מהות השינוי במיון מועמדים הביקוש ללימודי רפואה באוניברסיטת ת"א כה גדול עד כי רק אחד מתוך עשרה מועמדים שרובם המכריע בעלי כישורים קוגנטיביים גבוהים, זוכה להתקבל (טבלה 2). כמצוין לעיל המספר האמיתי של אנשים השואפים להתקבל גבוה בהרבה משתי סיבות: 1) הרשמות מועמדים מוגבלת על פי סף פסיכומטרי מינימאלי (670). 2) רבים מהשואפים ללמוד רפואה, יודעים שלא יוכלו לעמוד בתחרות על הקבלה ומוותרים מראש על הגשת המועמדות. עד שנת 2004 קריטריון הקבלה היה ציון ההתאמה הקוגנטיבי (שקלול של ציון פסיכומטרי וממוצע בגרויות). מועמדים בעלי ציון ההתאמה הגבוה ביותר (על פי מספר התלמידים שניתן לקבל) זומנו לראיונות שזיהו פתו-פסיכולוגיות (לרוב פחות מ- 5% ). החל בשנת 2004, שונה קריטריון הקבלה. מספר גדול יותר של מועמדים זומנו למבחני וקריטריון הקבלה היה מורכב מ- 50% ציון התאמה ו- 50% ציון. בשנים זומנו למבחני מספר כפול של מועמדים ממספר מקומות הקבלה. החל מ עם אימוץ מבחני על-ידי בית הספר לרפואה של הטכניון, עלה מספר הזימונים לפי ארבע (טבלה 2). כתוצאה מכך במחזורים אלו עלה הסיכוי לקבלה של מועמדים בעלי ציונים מעט נמוכים יותר, המצליחים במבדקי, על חשבון מי שזכו להערכה נמוכה יותר ב. כפי שצוין, מדובר באוכלוסייה הומוגנית ביותר מבחינת נתוני הקבלה הגבוהים. בסיכום המאפיינים של מחזורי הקבלה, (טבלה 3) ניתן לראות שהם דומים מבחינת הנתונים הדמוגרפיים, ובנוסף נתוני הקבלה כמעט זהים. לפיכך ניתן היה לצפות שנקבל תוצאות דומות עבור המבחנים הסטטיסטים. הערכת יכולת הניבוי של נתוני הקבלה א. הצלחה במבחן התוצאות של מבחן, עומדות בקשר שלילי מובהק (0.01>p) עם ציוני ההתאמה (קוגניטיבי). נתון זה מעיד על השוני בין המבחנים, ועל כן צפוי שהשקלול של שני המרכיבים הללו בקביעת ציון מותאם סופי, מציג תמונה שלמה יותר של כישורי המועמד (טבלה 4). בדומה למחקר שהתפרסם לאחרונה על-ידי al. 29 Reiter et נמצא קשר ישר בין גיל המועמד לבין ציון. הגיל קשור לניסיון חיים ואוסף של התמודדויות. בוחן יכולת שיפוט במספר רב של מצבים, לכן לא מפתיע שמועמדים מבוגרים ומנוסים מקבלים ציונים גבוהים יותר במבחן. ב. הצלחה בלימודים קליניים המטרה העיקרית של תהליך הקבלה, היא לבחור את המועמדים שיהיו בעתיד הרופאים "הטובים ביותר". מקובל להתייחס לממוצע הציונים הקליני כמדד להצלחה, בהיעדר מדד טוב יותר. בנתוני הקבלה לא נמצא גורם מנבא משמעותי להצלחה בלימודים קליניים (טבלה 5). זאת בניגוד למחקרים אחרים, שהראו קשר בין מבחני MMI לבין הצלחה בלימודים קליניים. 17,24 מדד נוסף שנבדק הוא ציוני הערכות מחלקה של השנים הקליניות (טבלה 6). גם למדדים אלו לא נמצא מנבא משמעותי בנתוני הקבלה. 28

30 עם זאת נמצא שהצלחה בלימודים פרה-קליניים בעלת קשר מובהק חזק להצלחה הן בלימודים הקליניים והן להערכות מחלקה. גם בניתוח בעזרת רגרסיה-ליניארית ממוצע ציונים פרה-קליני נמצא כבעל מקדם ניבוי משמעותי (טבלה 7). תוצאות אלו מראות שהיכולת להצליח במשימת המיון, בשיטות הקיימות, מועטה עד לא קיימת. ניתן להסיק, שדווקא הגישה של המסלול הארבע-שנתי, ללימודי רפואה, כתוכנית מתקדמת,(graduate) מבוססת הקבלה על ציוני תואר ראשון, מצליחה הרבה יותר מבחינה זו. אסייג את דברי ואומר, שניתן היה לצפות למדדי קשר חלשים. בעת הקבלה עומדים לרשות ועדות הקבלה מספר פקטורים שיש אפשרות שינבאו סיכויי הצלחה בלימודים. לנוכח ההומוגניות של התלמידים (כולם מצטיינים) לא ניתן למצוא מתאמים טובים בין "ציון מנבא" כלשהו לבין ההצלחה בלימודים. ציוני התואר הראשון באוניברסיטה הם פחות הומוגניים ועל כן לא מפתיע שכושר הנבוי שלהם גדול מאשר זה של ציוני בגרות ומבחן פסיכומטרי. כיצד השפיעה הוספת על פרופיל המתקבלים א. חילופי מועמדים כפי שצוין, הוספת גורמת לקבלה של מועמדים שהתקבלו בזכות השינוי במקום מועמדים שלא התקבלו בגלל השינוי בתהליך הקבלה. כפי שהוצג בטבלה 8, השפעה זו אינה מבוטלת ואף עשויה לגרום להחלפה של מחצית מהמחזור ואפילו יותר. נתון זה מדגיש את החשיבות שיש לייחס למחקר זה העוסק בהערכת ההשלכות של החילוף מבחינת השינויים הדמוגרפיים בקרב קבוצת המתקבלים והצלחה אקדמית. ב. השפעתעל ציוני הקבלה הראיתי שישנו הבדל מובהק בין הקבוצות המתחלפות מבחינת כל נתוני הקבלה (טבלה 8). כלומר אין שום דבר מקרי בתחלופה כתוצאה מהוספת. תוצאה זו מחזקת את הטענה שבעזרת בודקים תכונות שונות מאלו הנמדדות בציונים הקוגנטיביים ועל-ידי שקלול הציונים הללו נקבל תמונה שלמה יותר על המועמד. יש לציין שהמבחן היחידי בו לקבוצת הנדחים בעקבות הוספת (קבוצה א') ישנו יתרון הוא ממוצע ציוני הבגרות (המתבטא גם בציון מותאם ללא ) (טבלה 9). ג. השפעת על מאפיינים דמוגרפיים מבחן משפיע באופן מובהק גם על המאפיינים הדמוגרפיים של המתקבלים. ההבדלים הבולטים ביותר בין הקבוצות היו בגיל הממוצע, במגדר ובהשתתפות בשירות צבאי/לאומי (טבלה 9). גם Lemay al. et מצאו שינוי מבחינת גיל ומגדר אך לא באופן מובהק. 10 לאור הקשר שנמצא בין גיל להצלחה ב, בחנתי את הגיל הממוצע לפי מגדר ועשיית שירות (טבלה III בנספח). בסיכום כלל שנתי, נמצא כצפוי שהגיל הממוצע של עושי שירות גדול בכשלוש שנים מאלו שלא עושים שירות (22.86 לעומת 19.93), באופן מובהק (0.01>p). הבדל זה התבטא גם בציון (הבדל של כ- 13 נקודות בממוצע לאחר תיקנון). גם בין גברים ונשים נמצאו הבדלים מובהקים אך הבדל הגילאים היה זניח (פחות מחצי שנה). בנוסף לכך, למרות שגיל הגברים הממוצע גבוה יותר, ציון ה שקיבלו היה יותר נמוך מציון שקיבלו נשים. בסעיף הקודם ציינו את הקשר בין גיל לבין יכולת התמודדות בסיטואציות שונות. ניתן לטעון שבדומה לכך, שירות צבאי/לאומי מהווה חוויה מבגרת התורמת לפיתוח אישיות המועמד. לכן לא מפתיע 29

31 שמאפיין זה יתבטא בציון גבוה יותר. כנראה ששילוב העקרונות הללו מביאים לכך ששיעור קבלת מועמדים משרתים גבוה יותר (34% לעומת 17% בקרב ה'לא-משרתים'). כלומר ההצלחה ב מתורגמת לעלייה בשיעור הקבלה של עושי שירות צבאי/לאומי. ד. מגבלות ההשוואה כפי שנאמר, התוצאות בחלק זה של העבודה, נבעו מניתוח של כלל המועמדים שעברו את מבחן, ולכן משקפות באופן ישיר את ההשלכות של הוספת מבחן זה. למרות זאת, אין אפשרות לדעת מי מבין המועמדים יממש את קבלתו. כפי שהראתי, קיימים הבדלים מובהקים בין קבוצת המתקבלים לקבוצת הממשים (תרשים 2). במילים אחרות, ניתן להסיק מהתוצאות את השינוי בנתוני מועמדים שהאוניברסיטה שואפת לקבל, אך לא לנבא את הרכב המחזור בפועל. כל שניתן להניח הוא שהרכב המחזור בפועל קורלטיבי עם המתקבלים ועל כן נותן קידום להצלחה במבחן. כיצד השפיעה הוספת על הציונים אקדמיים א. השוואת ציונים אקדמיים לפי סבבי קבלה השוויתי את הציונים האקדמיים של מועמדים שהתקבלו בסבב הקבלה הראשון (בעלי ציון ההתאמה הגבוה ביותר) לעומת מועמדים שהתקבלו לאחר שהיו בהמתנה (תרשים 3). לא נמצא יתרון מובהק לאף קבוצה. התוצאה ממחישה את מגבלות שיטת הדירוג הקיימת. מועמדים שדורגו במקומות נמוכים אינם פחות טובים ממועמדים שדורגו במקומות גבוהים יותר. תוצאות אלו הינן עקביות עם העובדה שלא הצלחנו למצוא קורלציות בין ציוני הקבלה וממוצעי הציונים האקדמיים. אפשר להסביר זאת בכך שממילא מדובר בקבוצה הומוגנית ולכן צפוי שההישגים יהיו דומים. יש לציין שהשוואה זו אינה מתייחסת אך ורק להשפעת (כיוון שציון ההתאמה כולל גם את הציונים הקוגניטיביים). ניתן לומר שתוצאה זו, בדומה להיעדר מציאת מדדי קשר וניבוי בקרב נתוני הקבלה, מחזקת את הטענה שמבחני הקבלה הם בעלי תוקף מוגבל לבחירת מועמדים. ב. שינוי בציונים אקדמיים לפי צמצום מחזור מקורב היות ולא ניתן להשוות הצלחת תלמידי רפואה באוניברסיטת תל אביב עם הצלחת מועמדים שלא התקבלו, בחרנו להשוות את ציוניהם של אחוז נתון מתלמידי רפואה באוניברסיטת תל אביב (20%) שהיו נדחים על פי הקריטריון החדש (מותאם כולל ), עם ציוניהם של תלמידינו שהיו נדחים על פי הקריטריון הישן (ציון התאמה קוגנטיבי). שיטה זו, המהווה גישה פסיאודו-ישירה, משקפת בצורה האפשרית הישירה ביותר את השלכות השינוי מבחינת הצלחה אקדמית. נציין שקיצוץ של 20% נבחר באופן שרירותי, אך גם כאשר הניתוח נעשה על אחוזי קיצוץ שונים התקבלו תוצאות דומות (תרשים 9). נראה שמועמדים שהתקבלו בזכות נוטים להצליח פחות מאשר מועמדים שנדחו בעקבות (טבלה 11). אולם, למעט מחזור אחד (2004) לא נמצא הבדל מובהק בין הקבוצות המתחלפות מבחינת ממוצע ציונים אקדמי. לפיכך ניתן לומר שהוספת פוגעת במידה מועטה בהצלחה האקדמית. ג. שינוי בהערכות מחלקה לפי צמצום מחזור מקורב מעבר לממוצע הקליני, השתמשתי בנתוני הערכות מחלקה שהתקבלו עבור הסטודנטים שהחלו את לימודיהם בשנים במבט ראשון, כמעט ולא נמצאו הבדלים בין הקבוצות מתוך עשר הערכות רק אחת היתה שונה באופן מובהק בכל מחזור (טבלה 12). אולם, כאשר בדקנו מה היה קורה אילו היווה 100% מציון הקבלה הסופי (כלומר לאחר זימון ל אין כל חשיבות לציון ההתאמה 30

32 הקוגניטיבי), נמצא יתרון מובהק לקבוצת המתקבלים בזכות (טבלה 13). רוב הערכות הללו התייחסו ליכולות אישיותיות כגון, תקשורת עם הצוות והשתלבות במחלקה. תוצאה זו אינה מפתיעה כמובן, שכן אלו הן תכונות הנמדדות במבחן. במילים אחרות, תוצאה זו מתקפת את. ד. יכולת דחיית אחוזונים נמוכים בניתוח של מספר מועמדים באחוזונים נמוכים בכל קבוצה (תרשים 4), נמצאו תוצאות לא אחידות בין המחזורים. בסיכום כלל שנתי, נמצא יתרון קל לקבוצה א' מבחינת ציונים פרה-קליניים וציונים קליניים. כלומר גורם לקבלה של מועמדים שיכולתם האקדמית נמוכה יותר מזו שאותם החליפו. הוספת למעשה מגדילה את משקל האינטליגנציה הרגשית, על חשבון האינטליגנציה הקוגניטיבית בחישוב ציון התאמה. עובדה זו, עשויה להסביר את התרשים, שכן הצלחה בלימודים אקדמיים קשורה בעיקר ליכולות קוגניטיביות בעוד אשר יכולות אישיותיות באות לידי ביטוי גדול יותר בעבודה מעשית. ה. קבלה לפי ממוצע ציונים פרה-קליני בבדיקה של הקבוצות המתחלפות בעקבות הוספת, מצאתי את הקבוצות שהיו מתחלפות לו היינו מדרגים את המועמדים לפי ממוצע הציונים הפרה-קליני. נמצא שממוצע הציונים הקליני של מועמדים שהיו מתקבלים בזכות השינוי (ממוצע פרה-קליני גבוה) גבוה באופן מובהק מממוצע הציונים של מועמדים שהיו נדחים בעקבות השינוי (ממוצע פרה-קליני נמוך). תוצאה זו התקבלה להשוואה של הציון הפרה-קליני לציון מותאם עם וכן להשוואה מול ציון ההתאמה הקוגנטיבי (תרשים 5). כמו התוצאות שהתקבלו עבור מדדי קשר וניבוי, גם תוצאה זו מחזקת את גישת המיון של התוכנית הארבע-שנתית (המתחשבת בציוני תואר ראשון). כלומר המדד הטוב ביותר להצלחה אקדמית הוא הצלחה אקדמית קודמת. ו. מגבלות שיטת צמצום מחזור מקורב כפי שאמרנו, לא ניתן להשוות הצלחת תלמידים עם הצלחת מועמדים שלא התקבלו. בעזרת צמצום מחזור מקורב קיבלנו תוצאות המשקפות בצורה הישירה ביותר האפשרית את השלכות השינוי מבחינת הצלחה אקדמית. לא ניתן להתעלם מכך שקירוב זה עשוי להשפיע על התוצאות. הסיבה העיקרית לכך שייתכן הבדל היא שאנו מסתכלים על קבוצה מצומצת מתוך כלל המועמדים. סיבה נוספת היא שלא ניתן לדעת מי מהמתקבלים יממש את קבלתו. כיצד שינוי משקל בחישוב המותאם הסופי משפיע על התוצאות א. העלאת מגדילה את התחלופה כמובן מאליו, נמצא בכל השנים, שגודל התחלופה הנגרם כתוצאה מהוספת, גדל ככל שמשקל בחישוב המותאם עולה (תרשים 6). זאת בייחוד במחזורים בהם יחס המוזמנים ל גדול יותר (2006 ו ). כלומר, הגדלת מספר המוזמנים ל, מאפשרת ליותר מועמדים בעלי ציונים קוגניטיביים נמוכים לשפר את סיכויי הקבלה על-ידי השגת ציון גבוה ב. שיא התחלופה מתקבל כאשר המיון הסופי נעשה אך ורק לפי ציון (בלי שום התחשבות בציונים הקוגניטיביים) ומגיע ל- 84% (מחזור 2007). במילים אחרות, רק כ- 16% מהמתקבלים "חסינים" לחלוטין בפני והם יתקבלו ללא תלות במשקל. ב. השפעת משקל על ציוני הקבלה נמצא שככל שמעלים את משקל, גורמים במקביל לירידה ברף הקבלה של ציון ההתאמה הקוגניטיבי. בנוסף נמצא שההפרש בין ציון ההתאמה הקוגנטיבי הממוצע של כל קבוצה הולך וגדל ככל 31

33 שמעלים את משקל ובמקביל הפער בציון הממוצע הולך וקטן. תוצאות אלה ניתן ליחס לאופן יצירת הקבוצות (תרשים 8). הראתי שלמעשה הקבוצות המתחלפות נובעות ממעבר של מועמדים מקבוצה ג' (נדחים בכל מקרה) לקבוצה ב' (מתקבלים בזכות) ומקבוצה ד' (מתקבלים בכל מקרה) לקבוצה א' (נדחים בעקבות). ככל שמעלים את משקל, יותר מועמדים עם ציון קוגנטיבי נמוך אך ציון גבוה יתקבלו. לכן ציון ההתאמה הקוגנטיבי של קבוצה ב' הולך ויורד. לעומת זאת, מועמדים עם ציון קוגנטיבי גבוה אך ציון נמוך יהפכו ממתקבלים לנדחים. לכן ציון ההתאמה הקוגנטיבי של קבוצה א' הולך ועולה. ציון משתנה כמובן באופן הפוך. מצד אחד, ככל שמשקל גדל, התחלופה גדלה, ודרישות הסף של יורדות. לכן יותר מועמדים עם ציון הולך ופוחת מקבוצה ג' עוברים לקבוצה ב'. מצד שני ההשפעה של על הקבלה הולכת ועולה. לכן מועמדים מקבוצה ד' עם ציון הולך ועולה עוברים לקבוצה א'. נדגיש שהערכים של עליהם בוצע הניתוח עברו תקנון בכדי שיותאמו לטווח של ציון ההתאמה הקוגנטיבי. לכן יש להתייחס בעיקר למגמת השינוי ופחות לערכים המספריים שהתקבלו. משמעות השינוי הנובע משילוב התרשימים היא שקבלת מועמדים בעלי כישורים גבוהים שאינם קוגנטיביים גוררת קבלת מועמדים עם ציון קוגנטיבי נמוך יותר. בית-ספר השואף לקבל תלמידים בעלי כישורים קוגנטיביים גבוהים בלי לותר על דרישות שאינן קוגנטיביות יצטרך להתפשר בדרישותיו. מיקומו של "שביל הזהב" מחייב החלטה ערכית של בית הספר. היות שירידת הכישורים הקוגנטיביים דועכת עם העליה במשקל מור יותר מהעליה בציון מור (תרשים 7) נראה שבמשקל של 40% הרווח של מבחני אופטימאלי כי במשקל זה הפשרה על הציונים הקוגנטיביים אינה רבה. ג. השפעת משקל על שינויים דמוגרפיים מבחינה דמוגרפית נמצא שהגדלת משקל מחזקת את השינויים שצוינו קודם לכן (טבלה 14). נתונים אלו מעידים על ההשפעה החזקה של הוספת בקביעת הרכב המחזור, ועל כך שניתן לשלוט בעוצמת השינוי ע"י ויסות משקל בחישוב המותאם (בדומה לקביעת הרף הקוגנטיבי). ד. השפעת משקל על ציונים אקדמיים והערכות מחלקה בניתוח השפעת משקל על ממוצע הציונים הקליני התקבלו תוצאות סותרות (תרשים 9). מצד אחד במחזורים 2004 ו נמצאו הבדלים מובהקים בממוצע הציונים הקליני של קבוצות א' ו-ב' עבור משקלים מסוימים של בחישוב המותאם. תוצאה זו מעלה את האפשרות שהוספת גורמת לבחירה של מועמדים בעלי יכולות אקדמיות פחותות. מצד שני, במחזורים , נמצא שאין משמעות להעלאת משקל מעל ל- 60% בחישוב המותאם. כלומר למרות שיותר מועמדים מוחלפים, הממוצע הכיתתי כמעט ואינו משתנה. תוצאה זו מכוונת לכך שהעלאת משקל לא פוגעת ביכולת האקדמית של המתקבלים. ניתן ליישב את הסתירה בכך שציוני מחזור 2007 כוללים אך ורק את השנה הקלינית הראשונה (שנה רביעית ללימודי רפואה) ולכן אינה משקפת בצורה נכונה את ההשלכות האמיתיות של השינוי. מבחינת הערכות מחלקה (תרשים 10) ב, נמצא יתרון לקבוצה א' מבחינה קוגנטיבית ותקשורתית, אך פער זה הולך ומצטמצם ככל שמעלים את משקל. תוצאה זו לא התקבלה עבור מחזור ככל הנראה הסיבה להבדל נעוצה בעובדה שהנתונים התקבלו לפני שמחזור זה סיים את רוב הסבבים במחלקות הקליניות. 32

34 ללא קשר להבדל המקורי בין הקבוצות, מגמת השינויים מראה שככל שמעלים את משקל, מקבלים מועמדים טובים יותר במקום מועמדים טובים פחות מבחינת שתי ההערכות. תוצאה זו מחזקת את התומכים במבדקי בתהליך המיון. ה. מגבלות הניתוח כפי שאמרנו בסעיפים הקודמים, הסקת המסקנות מהתוצאות מוגבלת מפני שלא ניתן לדעת מי מהמועמדים שהתקבלו יממש את קבלתו ובנוסף מפני שבשיטת צמצום מחזור מקורב אנו מסתכלים על קבוצה מצומצמת של המועמדים. מגבלות אלו כמובן רלוונטיות גם לסעיף זה. 33

35 סיכום בעובדה זו ביקשו לבדוק מה הייתה ההשפעה של הוספת מבחן להליך המיון של בית-הספר לרפואה של אוניברסיטת ת"א על בחירת המועמדים. בייחוד רצינו לבדוק האם חל שינוי לרעה מבחינת הצלחה אקדמית. התקבלו התוצאות הבאות: שימוש בשיטות המקובלות של מנבאים ומדדי קשר לא נתן קורלציות בין נתוני קבלה והצלחה אקדמית. לכן הדרך היחידה לבחון את השפעות השינוי היא באמצעות שיטת צמצום המתקבלים שהוצגה בעבודה זו. המנבא היחיד להצלחה בשנים הקליניות ובפרט מבחינת הערכות מחלקה, הוא ממוצע ציונים של השנים הפרה-קליניות. הוספת הביאה לתחלופה של כ- 33% מתוך המתקבלים בשנים התחלופה גרמה בעיקר לעלייה בגיל הממוצע והגדלת שיעור מתקבלים עושי שירות צבאי/לאומי. זאת ככל הנראה בשל העובדה שהצלחה ב תלויה בניסיון חיים ויכולת התמודדות עם סיטואציות מגוונות. משקף תכונות ויכולות שונות מאילו הנמדדות בציונים הקוגנטיביים. לכן שקלול הציונים מתאר תמונה שלמה יותר של המועמד. נמצא שמועמדים שהתקבלו בזכות נוטים להצליח פחות מבחינה אקדמית מאשר מועמדים שנדחו בעקבות. לכן ניתן לומר שהוספת גרמה לפגיעה שולית בהצלחה בלימודים אקדמיים. מבחינת הערכות מחלקה נמצא יתרון למועמדים שהתקבלו בזכות ובייחוד בהערכות הקשורות בכישורי תקשורת. יתרון זה נעשה בולט יותר כאשר משקל שונה בחישוב המותאם הסופי ל- 100%. נמצא שקבלה לפי ממוצע ציונים פרה-קליני יכולה להביא לבחירה טובה יותר של המועמדים מאשר שימוש בציונים קוגניטיבים (מותאם ללא ) ושימוש בשילוב של ציונים קוגניטיביים ומבחן (מותאם עם ). ככל שמשקל בחישוב המותאם עולה, מספר המועמדים המתחלפים גדל, רף הקבלה הקוגנטיבי יורד והשינויים הדמוגרפיים מתעצמים. לעומת זאת, ממוצע הציונים האקדמי כמעט ואינו משתנה כאשר משקל עולה על כ- 60%. העלאת משקל מתבטאת גם בהערכות המחלקה. ככל שמשקל עולה יותר מועמדים טובים מבחינה זו מתקבלים ויותר מועמדים פחות טובים נדחים. התוצאות הנ"ל אמנם אינן תומכות בהוספת, אך גם אינן מציגות לכך התנגדות. עם זאת, יש מקום לבחון מחדש מהו המשקל שיש לתת ל בקביעת ציון הקבלה הסופי תוך התחשבות ביתרונות וחסרונות השינוי. 34

36 Summary We tried to see what happened due to the addition of MOR to the admission process of the Medical School of Tel-Aviv University. We especially wanted to see if there was a change for the worse in terms of academic grades. The results were: No predictors of correlations were found between admission criteria and success in academic studies. Therfore, the only way to test the effects of the change in admission is by the use of the Admission reduction method showen here. The only predictor to success in the clinical years, and especialy in departments' evaluations, is the grade average of the pre-clinical years. The addition of MOR brought a change of about 33% of the admitted applicants. This change raised the average age in admission, and raised the percentage of applicants doing civil/military service. Apparentley it's because the success in MOR depends on life expirence and the ability to face a variety of situations. It seems that candidates who where admitted thanks to MOR tend to result in a lesser, yet unsignificant, academic outcome than those who where rejected due to MOR. Therefore, adding MOR to the admission process caused a minor negative influence on success in academic studies. Candidates who were admitted thanks to MOR achieved higher scores in the clerckship evaluations, and especialy in those regarding communicative skills. This advantage became more apparent when the weight of MOR in the final admission grade was changed to 100%. An admission process based on pre-clinical academic grades is more efficient in selecting candidates than the use of an admission grade (Motam) based on cognitive tests with of without MOR. The number of switched candidates' increases as MOR has a stronger influence on the final admission grade. Additionaly, demographic changes become more apparent and the cognitive admission bar is lowered. In contrast, the average academic grade hardly changes when the weight of MOR is greater than 60% of the admission grade. The increase of the weight of MOR in the final admission grade also influences the clerckship evaluations. As the weight increases, better candidates are accepted instead of lesser ones. These results do not support the addition of MOR, but they do not present an opposition either. It is however important to reavaluate the magnitude of influence MOR has in deciding the final admission grade, considering the benefits and the shortcoming of the change. 35

37 רשימת ספרות 1. Lumsden MA, Bore M, Millar K, Jack R, Powis D. Assessment of personal qualities in relation to admission to medical school. Med Educ. 2005; 3(39): School Council of Heads of Medical Schools. Medical Education and Research CHMS. Statement of Principles Albanese MA, Snow MH, Skochelak SE, Huggett KN, Farrell PM. Assessing personal qualities in medical school admissions. Acad Med. 2003; 78(3): Edwards JC, Elam CL, Wagoner NE. An admission model for medical schools. Acad Med. 2001; 76(12): Prideaux D, Roberts C, Eva K, Centeno A, McCrorie P, McManus C, Patterson F, Powis D, Tekian A, Wilkinson D. Assessment for selection for the health care professions and specialty training: consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011; 33(3): Spooner CE Jr. Help for the gatekeepers: comment and summation on the admission process. Acad Med. 1990; 3(65): Powis DA, Bore M, Munro D. Selecting medical students: evidence based admissions procedures for medical students are being tested. BMJ. 2006; 332(7550): Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975; 1(5955): Eva KW, Rosenfeld J, Reiter HI, Norman GR. An admissions OSCE: the multiple mini-interview. Med Educ. 2004(38): Lemay JF, Lockyer JM, Collin VT, Brownell AK. Assessment of non-cognitive traits through the admissions multiple mini-interview. Med Educ. 2007; 41(6): Gafni N, Moshinsky A, Eisenberg O, Zeigler D, Ziv A. Reliability estimates: behavioural stations and questionnaires in medical school admissions. Med Educ. 2012; 46(3): Beller M. Admission to higher education in Israel and the role of the psychometric entrance test: educational and political dilemmas. Assess Educ Principles, Policy Pract. 2001; 3(8): Elam CL, Andrykowksi MA. Admission interview ratings: relationship to applicant academic and demographic variables and interviewer characteristics. Acad Med. 1991; Suppl(66): Kreiter CD, Yin P, Solow C, Brennan RL. Investigationg the reliability of the medical school admissions interview. Adv Health Sci Educ. 2004(9): Harasym PH, Woloschuk W, Mandin H, Brundin-Mather R. Reliability and validity of interviewers' judgement of medical school candidates. Acad Med. 1996; Suppl 1(71): Johnson EK, Edwards JC. Current practices in admission interviews at US medical schools. Acad Med. 1991(66): Eva KW, Reiter HI, Rosenfeld J, Norman GR. The ability of the multiple miniinterview to predict preclerkship performance in medical school. Acad Med. 2004; 71(10 suppl): s

38 18. Ziv A, Rubin O, Moshinsky A, Gafni N, Kotler M, Dagan Y, Lichtenberg D, Mekori YA, Mittelman M. MOR: a simulation-based assessment centre for evaluating the personal and interpersonal qualities of medical school candidates. Med Educ. 2008; 10(42): Sackler School of Medicine TAI Israel Center for Medical Simmulation THI Ziv A, Erez D, Munz Y, Vardi A, Barsuk D, Levine I, Benita S, Rubin O, Berkenstadt H. The Israel Center for Medical SimulationL a paradigm for cultural change in medical education. Acad Med. 2006; 12(81): The National Institute for Testing & Evaluatoin JI Eva KW, Reiter HI, Trinh K, Wasi P, Rosenfeld J, Norman GR. Predictive validity of the multiple mini-interview for selecting medical trainees. Med Educ. 2009; 43(8): Reiter HI, Eva KW, Rosenfeld J, Norman GR. Multiple mini-interviews predict clerkship and licensing examination performance. Med Educ. 2007; 41(4): Harris S, Owen C. Discerning quality: using the multiple mini-interview in student selection for the Australian National University Medical School. Med Edic. 2007(41): Razack S, Faremo S, Drolet F, Snell L, Wiseman J, Pickering J. Multiple miniinterviews versus traditional interviews: stakeholder acceptability comparison. Med Educ. 2009; 43(10): חדד א. גפני נ. מושינסקי א. טורוול א. זיו א. ישראלי א.הערכת עמיתים בקרב סטודנטים לרפואה,.27 ככלי לבחינת תוקף ניבוי מבחני הקבלה הלא-קוגניטיביים באוניברסיטה העברית :כנס האגודה הישראלית לפסיכומטריקה (אפ"י); Breiman L, Friedman J, Olshen R, and Stone C. Classification and Regression Trees Reiter HI, Lockyer J, Ziola B, Courneya CA, Eva K; Canadian Multiple Mini- Interview Research Alliance (CaMMIRA). Should efforts in favor of medical student diversity be focused during admissions or farther upstream? Acad Med. 2012; 87(4): Morris JG. The value and role of the interview in the student adissions process: a review. Med Teach. 1999(21): Edwards JC, Johnson EK, Molidor JB. The interview in the admission process. Acad Med. 1990(65):

39 נספח טבלה I. מתאם פירסון בין נתוני קבלה (p-value) בשנים א. מחזור 2004 ממוצע מותאם מותאם עם בגרויות 2 פסיכומטרי 1 ללא 1 * *0.39 *0.18 גיל *-0.69 () () *-0.55 () (0.12) *0.38 () *0.28 () () *-0.31 () *0.29 () 0.04 (0.51) () 0.09 (0.15) *0.39 () *0.78 () *0.66 () ממוצע בגרוי תו פסיכומטרי מותאם ללא 1 ב. מחזור 2005 תו ממוצע מותאם מותאם עם בגרויות 2 פסיכומטרי 1 ללא 1 *-0.64 *0.38 **-0.13 *0.41 *0.22 גיל () () (0.03) () () ממוצע * **0.14 *-0.52 בגרוי (0.06) () (0.02) () *0.33 *0.29 *0.47 פסיכומטרי () () () מותאם ללא 0.65* 0.12-** (0.04) () 1 *0.67 () ג. מחזור 2006 תו ממוצע מותאם מותאם עם בגרויות 2 פסיכומטרי ללא 1 *-0.72 *0.36 *-0.21 *0.52 *0.14 גיל () () () () () ממוצע *0.16 *-0.37 *0.48 *-0.28 בגרוי () () () () *0.41 *0.41 *0.58 פסיכומטרי () () () מותאם ללא 0.80* (0.72) () 1 *0.59 () ד. מחזור 2007 תו ממוצע מותאם מותאם עם בגרויות 2 פסיכומטרי ללא 1 *-0.62 *0.27 *-0.26 * גיל () () () () (0.07) ממוצע *0.18 *-0.38 *0.49 *-0.22 בגרוי () () () () *0.41 *0.18 *0.47 פסיכומטרי () () () מותאם ללא 0.61* 0.27-* () () 3 *0.59 () * - מובהק עבור p<0.01 ** - מובהק עבור p<0.05 בחישוב הקורלציות עבור ומותאם ללא לא נכללו 12 מועמדים משנת 2007 עבורם לא התקבלו נתונים אלו. 2 בחישוב הקורלציה עבור ציוני הבגרות לא נכללו מועמדים שזומנו בשנים 2004 עד (4, , 4, 0 בהתאמה) שלא על-סמך ממוצע ציוני הבגרות. 38

40 טבלה.II מתאם פירסון בין נתוני קבלה וציונים אקדמיים (p-value) בשנים א. מותאם עם מותאם ממוצע גיל פרה-קליני 2 ללא פסיכומטרי בגרוי 1 ו ת 0.68 () 0.12 (0.23) (0.96) 0.20 (0.03) 0.16 (0.09) 0.22 (0.02) (0.42) קליני 0.16 (0.11) (0.94) 0.21 (0.02) 0.10 (0.29) 0.23 (0.01) (0.65) פרה-קליני 2005 ב. מותאם עם מותאם ממוצע גיל פרה-קליני 2 ללא פסיכומטרי בגרוי 1 ו ת 0.69 () 0.12 (0.18) 0.04 (0.70) 0.19 (0.03) 0.12 (0.15) 0.04 (0.65) (0.13) קליני 0.06 (0.54) 0.01 (0.89) 0.18 (0.03) 0.18 (0.03) (0.74) 0.12 (0.13) פרה-קליני 2006 ג. מותאם עם מותאם ממוצע גיל פרה-קליני 2 ללא פסיכומטרי בגרוי 1 ו ת 0.66 () 0.14 (0.15) 0.16 (0.10) (0.93) 0.08 (0.42) 0.02 (0.82) (0.72) קליני 0.14 (0.13) 0.18 (0.05) (0.71) 0.08 (0.41) (0.34) (0.77) פרה-קליני 2007 ד. פרה-קליני מותאם עם ללא 2 מותאם פסיכומטרי ממוצע בגרוי 1 ו ת גיל 0.73 () 0.12 (0.12) (0.40) 0.21 (0.03) 0.13 (0.17) 0.04 (0.72) (0.52) קליני 0.09 (0.34) (0.14) 0.24 (0.01) 0.14 (0.13) 0.12 (0.20) (0.92) פרה-קליני 1 בחישוב הקורלציה עבור ציוני הבגרות לא נכללו מועמדים שזומנו בשנים 2004 עד (1, , 3, בהתאמה) שלא על-סמך ממוצע ציוני הבגרות. 2 בחישוב הקורלציות עבור ומותאם ללא לא נכללו 12 מועמדים משנת 2007 עבורם לא התקבלו נתונים אלו. כללי 2 תאם פירסון בין נתוני קבלה, ציונים אקדמיים והערכות מחלקה (p-value) בשנים תקשורת עם חולים מוטיבציה תקשורת עם הצוות השתלבות במחלקה כללי 1 ידע רפואי כללי אנמנזה בדיקה פיזיקלית אבחנה מבדלת פתרון בעיות לימוד עצמי ציון סופי ציון בחינה (0.68) 0.06 (0.25) 0.06 (0.28) 0.06 (0.28) 0.09 (0.09) 0.02 (0.70) 0.05 (0.33) 0.06 (0.23) 0.04 (0.41) 0.12 (0.02) 0.14 (0.01) 0.11 (0.04) (0.98) 0.13 (0.02) (0.54) 0.08 (0.18) 0.03 (0.64) (0.91) 0.06 (0.31) 0.03 (0.55) (0.98) 0.05 (0.36) 0.04 (0.49) 0.09 (0.09) 0.11 (0.04) 0.05 (0.37) 0.08 (0.15) 0.15 (0.01) 0.05 (0.47) 0.11 (0.05) 0.03 (0.54) 0.05 (0.40) 0.04 (0.49) 0.05 (0.40) 0.02 (0.70) 0.08 (0.14) 0.05 (0.38) 0.11 (0.06) 0.09 (0.09) 0.06 (0.29) (0.97) 0.15 (0.01) 0.15 (0.02) 0.10 (0.07) 0.06 (0.27) 0.09 (0.09) 0.03 (0.58) 0.05 (0.33) 0.07 (0.19) 0.10 (0.07) 0.05 (0.30) 0.10 (0.06) 0.05 (0.32) 0.07 (0.16) (0.41) 0.09 (0.09) 0.09 (0.14) 0.04 (0.40) 0.04 (0.41) (0.86) 0.04 (0.44) 0.01 (0.84) (0.84) 0.06 (0.29) 0.03 (0.53) 0.07 (0.19) 0.06 (0.27) 0.04 (0.44) (0.50) 0.03 (0.61) 0.08 (0.23) 0.08 (0.13) 0.08 (0.12) 0.12 (0.03) 0.05 (0.32) 0.08 (0.14) 0.05 (0.34) 0.14 (0.01) 0.02 (0.77) 0.08 (0.12) 0.05 (0.39) 0.01 (0.90) 0.06 (0.27) 0.06 (0.23) 0.35 () 0.57 () 0.35 () 0.37 () 0.33 () 0.36 () 0.24 () 0.26 () 0.28 () 0.30 () 0.29 () 0.34 () 0.19 () 0.22 () 0.31 () 0.29 () 0.33 () 0.33 () 0.23 () 0.24 () 0.21 () 0.23 () 0.21 () 0.22 () 0.06 (0.23) 0.10 (0.05) 0.15 () 0.13 (0.01) 39

41 P- value טבלה.VI מנבאים להצלחה בהערכות מחלקה בשנים הקליניות במחזורים סטיית תקן שנה שם מקדם B פרה פרה-קליני פרה-קליני פרה-קליני פרה-קליני P- value ס"ת B שם מקדם פרה- קליני פסיכומטרי בגרות מו "ר פרה- קליני פרה פרה-קליני פסיכומטרי פרה-קליני פסיכומטרי P- value סוג הערכה שם מקדם B תקשורת חולים מוטיבציה סטיית תקן פרה-קליני קליני פרה-קליני פרה-קליני פרה-קליני פרה קליני קליני תקשורת צוות השתלבות במחלקה כללי 1 ידע רפואי כללי אנמנזה בגרות פרה-קליני פרה-קליני פרה-קליני פסיכומטרי פסיכומטרי בדיקה פיזיקאלית אבחנה מבדלת פרה-קליני פרה-קליני פסיכומטרי פרה-קליני פתרון בעיות פרה-קליני פסיכומטרי פרה-קליני לימוד עצמי פרה-קליני פסיכומטרי פרה- קליני כללי 2 פרה-קליני פסיכומטרי פרה-קליני ציון סופי פרה-קליני פרה-קליני מו "ר גיל ציון בחינה 40

42 א' טבלה.VII השוואת ממוצעי ציוני קבלה וציונים אקדמיים (סטיית תקן) א. מחזור 2004 קבוצה הגדרה גודל הקבוצה בגרויות פסיכומטרי נדחים בעקבות מותאם ללא (2.49) ציון (2.68) מותאם (1.74) (2.59) (4.15) (5.80) (7.19) (5.18) (10.06) (4.79) (7.37) (10.18) (24.70) (20.96) (24.78) (22.41) (4.38) (3.41) (3.26) (3.13) ANOVA ב' ג' ד' מתקבלים בזכות נדחים מתקבלים מבחן t בין קבוצות א' ו-ב' P Value p Value ב. מחזור 2005 קבוצה הגדרה א' נדחים בעקבות גודל הקבוצה בגרויות פסיכומטרי מותאם ללא (3.09) ציון (3.44) מותאם (1.92) (4.27) (3.02) (5.46) (9.59) (5.31) (9.86) (5.03) (3.29) (12.30) (22.32) (23.51) (24.62) (24.65) (3.82) (1.99) (4.10) (4.84) ANOVA ב' ג' ד' מתקבלים בזכות נדחים מתקבלים מבחן t בין קבוצות א' ו-ב' P Value p Value ג. מחזור 2006 קבוצה הגדרה א' נדחים בעקבות גודל הקבוצה בגרויות פסיכומטרי מותאם ללא (3.88) ציון (3.45) מותאם (2.13) (5.03) (7.59) (4.83) (10.19) (9.32) (9.65) (5.92) (12.99) (8.32) (18.67) (18.75) (26.23) (17.07) (2.63) (3.03) (4.19) (4.18) ANOVA ב' ג' ד' מתקבלים בזכות נדחים מתקבלים מבחן t בין קבוצות א' ו-ב' P Value p Value ד. מחזור 2007 קבוצה הגדרה א' נדחים בעקבות גודל הקבוצה בגרויות פסיכומטרי מותאם ללא (5.49) ציון (5.59) מותאם (2.82) (5.00) (8.76) (6.03) (92.81) (123.64) (16.21) (9.13) (12.56) (9.85) (20.99) (16.93) (22.34) (17.51) (3.43) (4.73) (4.18) (4.02) ANOVA ב' ג' ד' מתקבלים בזכות נדחים מתקבלים מבחן t בין קבוצות א' ו-ב' P Value p Value 41

43 LR (p-value) - (0.45) 0.58 (0.22) 1.49 () (0.24) 1.36 (0.60) 0.28 (0.55) 0.36 LR (p-value) - (0.48) 0.50 (1.00) () (0.60) 0.28 (0.01) 7.17 (0.29) 1.11 LR (p-value) - (0.07) 3.19 (0.13) 2.34 () (0.03) 4.54 (0.01) 6.38 (0.02) 5.55 LR (p-value) (0.01) 7.22 () () (0.56) 0.33 (0.47) 0.53 () χ 2 (t-test) **() ** χ2 (t-test) **() ** 0.60 ** χ2 (t-test) *() * ** *0.03 *0.01 *0.03 χ2 (t-test) *() **0.01 ** ** ** טבלה.VIII השוואת מאפייני אוכלוסייה א. מחזור 2004 (גודל כל קבוצה =31) קבוצה אחוזון תחתון עם אך לא באחוזון תחתון ללא (נדחים בעקבות). קבוצה א' (2.21) גיל ממוצע (SD) נשים 16 גברים 15 מגדר אחר 26 מחוז ת"א 5 מקום מגורים לא 14 כן 17 שירות צבאי/לאומי לא אקדמית 6 אקדמית 25 השכלת אב לא אקדמית 12 אקדמית 19 השכלת אם לא 2 כן 29 יליד הארץ ב. מחזור 2005 (גודל כל קבוצה = 36) אחוזון תחתון עם אך לא באחוזון קבוצה תחתון ללא (נדחים בעקבות). קבוצה א' (2.87) גיל ממוצע (SD) נשים 18 גברים 18 מגדר אחר 26 מחוז ת"א 10 מקום מגורים לא 19 כן 17 שירות צבאי/לאומי לא אקדמית 11 אקדמית 25 השכלת אב לא אקדמית 15 אקדמית 21 השכלת אם לא 3 כן 33 יליד הארץ ג. מחזור 2006 (גודל כל קבוצה = 41) אחוזון תחתון עם אך לא באחוזון קבוצה תחתון ללא (נדחים בעקבות). קבוצה א' (0.85) גיל ממוצע (SD) נשים 19 גברים 22 מגדר אחר 37 מחוז ת"א 4 מקום מגורים לא 32 כן 9 שירות צבאי/לאומי לא אקדמית 18 אקדמית 23 השכלת אב לא אקדמית 21 אקדמית 20 השכלת אם לא 1 כן 40 יליד הארץ ד. מחזור 2007 (גודל כל קבוצה = 63) אחוזון תחתון עם אך לא באחוזון קבוצה גיל ממוצע (SD) מגדר מקום מגורים שירות צבאי/לאומי השכלת אב השכלת אם יליד הארץ תחתון ללא (נדחים בעקבות). קבוצה א' (1.64) נשים 25 גברים 38 אחר 53 מחוז ת"א 10 לא 40 כן 23 לא אקדמית 18 אקדמית 45 לא אקדמית 27 אקדמית 36 לא 4 כן 59 אחוזון תחתון ללא אך לא באחוזון תחתון עם (מתקבלים בזכות). קבוצה ב' (2.24) נשים 17 גברים 14 אחר 22 מחוז ת"א 9 לא 2 כן 29 לא אקדמית 10 אקדמית 21 לא אקדמית 10 אקדמית 21 לא 1 כן 30 אחוזון תחתון ללא אך לא באחוזון תחתון עם (מתקבלים בזכות). קבוצה ב' (2.91) נשים 21 גברים 15 אחר 26 מחוז ת"א 10 לא 0 כן 36 לא אקדמית 9 אקדמית 27 לא אקדמית 5 אקדמית 31 לא 1 כן 35 אחוזון תחתון ללא אך לא באחוזון תחתון עם (מתקבלים בזכות). קבוצה ב' (2.63) נשים 28 גברים 13 אחר 32 מחוז ת"א 9 לא 2 כן 39 לא אקדמית 9 אקדמית 32 לא אקדמית 10 אקדמית 31 לא 7 כן 34 אחוזון תחתון ללא אך לא באחוזון תחתון עם (מתקבלים בזכות). קבוצה ב' (2.18) נשים 40 גברים 23 אחר 37 מחוז ת"א 26 לא 1 כן 62 לא אקדמית 21 אקדמית 42 לא אקדמית 23 אקדמית 40 לא 17 כן 46 42

44 טבלה.IX גיל ממוצע וציון לפי אוכלוסיות בקרב נבחני t-test p-value , סטיית תקן t-test p-value סטיית תקן גיל ממוצע גברים (136) נשים (140) משרתים (238) לא משרתים (38) גברים (134) נשים (141) משרתים (190) לא משרתים (85) גברים (242) נשים (246) 2006 משרתים (255) לא משרתים (233) גברים (256) נשים (271) משרתים (396) לא משרתים (131) גברים (768) נשים (798) משרתים (1164) לא משרתים (402) בחישוב לא נכללו 12 מועמדים משנת 2007 שלא ניתן היה לחשב עבורם ציון. χ2 p-value *0.04 *0.02 χ2 p-value נשים (%) (55%) 120 (36%) 20 (57%) 120 (33%) 21 (52%) 168 (47%) 78 (57%) 225 (35%) 46 (55%) 633 (40%) 165 לה X. התפלגות מועמדות בקבלה לפי אוכלוסיות נה אוכלוסיה משרתים (220) לא משרתים (56) משרתים (211) לא משרתים (64) משרתים (323) לא משרתים (165) משרתים (396) לא משרתים (131) משרתים (1150) לא משרתים (416) גברים (%) (45%) 100 (64%) 36 (43%) 91 (67%) 43 (48%) 155 (53%) 87 (43%) 171 (65%) 85 (45%) 517 (60%) 251 סה"כ התקבלו (אחוז מתוך כלל הנבחנים בקבוצה) (40%) 88 (31%) 11 (50%) 106 (30%) 19 (30%) 93 (16%) 26 (27%) 108 (11%) 14 (34%) 395 (17%) 70 גברים שהתקבלו (אחוז מתוך נבחני ( (45%) 40 (73%) 8 (43%) 46 (63%) 12 (46%) 43 (42%) 11 (36%) 39 (64%) 9 (43%) 168 (57%) 40 נשים שהתקבלו (אחוז מתוך נבחנות ( (55%) 48 (27%) 3 (57%) 60 (37%) 7 (54%) 50 (58%) 15 (64%) 69 (36%) 5 (57%) 227 (43%)

45 תרשים I. התפלגות מימוש קבלה לפי קבוצות בשנים % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 23% 22% 4% 9% 19% 20% 54% 49% 33% 28% 27% 9% 8% 11% 23% 18% 37% 38% 42% 25% נדחים נדחים בעקבות מתקבלים בזכות מתקבלים 44